LLM Toys：小型微调语言模型的实用工具集

引言

在自然语言处理（NLP）领域，大型语言模型（LLM）的出现带来了巨大的突破。然而，这些模型通常需要强大的计算资源才能运行。为了解决这个问题，GitHub用户kuutsav开发了一个名为"LLM Toys"的开源项目，旨在提供小型且实用的微调语言模型。

LLM Toys项目概述

LLM Toys是一个专注于提供小型（参数量为7B及以下）、可生产就绪的微调语言模型的项目。这些模型经过精心设计，可以在普通的消费级硬件上进行微调和使用，为开发者和研究者提供了更加便捷的NLP工具。

主要特点

1. 小型模型：所有模型的参数量都在7B及以下，确保了在普通硬件上的可用性。
2. 多任务支持：支持多种NLP任务，包括改写、改变语气、对话摘要和主题生成等。
3. 量化技术：使用LoRA（Low-Rank Adaptation）技术对量化后的3B和7B模型进行微调。
4. 灵活性：3B模型针对特定任务进行微调，而7B模型则覆盖所有支持的任务。

可用模型

LLM Toys项目目前提供了三个主要的模型：

1. RedPajama-INCITE-Base-3B-v1-paraphrase-tone：
   • 大小：3B
   • 任务：改写、改变语气
2. RedPajama-INCITE-Base-3B-v1-dialogue-summary-topic：
   • 大小：3B
   • 任务：对话摘要和主题生成
3. falcon-7b-paraphrase-tone-dialogue-summary-topic：
   • 大小：7B
   • 任务：改写、改变语气、对话摘要和主题生成

这些模型都可以在Hugging Face上找到，并且提供了相应的Colab笔记本，方便用户快速体验和使用。

使用方法

LLM Toys的使用非常简单直观。以下是几个主要功能的使用示例：

改写功能

from llm_toys.tasks import Paraphraser

paraphraser = Paraphraser()
result = paraphraser.paraphrase("Hey, can yuo hepl me cancel my last order?")
print(result)
# 输出: "Could you kindly assist me in canceling my previous order?"

改变语气功能

result = paraphraser.paraphrase("Hey, can yuo hepl me cancel my last order?", tone="professional")
print(result)
# 输出: "I would appreciate guidance on canceling my previous order."

对话摘要和主题生成

from llm_toys.tasks import SummaryAndTopicGenerator

summary_topic_generator = SummaryAndTopicGenerator()
result = summary_topic_generator.generate_summary_and_topic(
    """
    #Person1#: I'm so excited for the premiere of the latest Studio Ghibli movie!
    #Person2#: What's got you so hyped?
    #Person1#: Studio Ghibli movies are pure magic! The animation, storytelling, everything is incredible.
    #Person2#: Which movie is it?
    #Person1#: It's called "Whisper of the Wind." It's about a girl on a magical journey to save her village.
    #Person2#: Sounds amazing! I'm in for the premiere.
    #Person1#: Great! We're in for a visual masterpiece and a heartfelt story.
    #Person2#: Can't wait to be transported to their world.
    #Person1#: It'll be an unforgettable experience, for sure!
    """.strip()
)
print(result)

输出结果将包含对话的摘要和主题。

安装和环境要求

要使用LLM Toys，您需要一个支持CUDA的GPU。安装过程可能会遇到一些与bitsandbytes包相关的问题，项目README中提供了相应的解决方案。

安装命令：

pip install llm-toys

训练数据和过程

LLM Toys使用了多种来源的训练数据：

1. 改写和语气变化数据：主要使用GPT-3.5-turbo生成，并从Quora问题和SQuAD 2.0数据集中选取了一小部分样本。

2. 对话摘要和主题生成数据：使用了Dialogsum数据集的约1000条记录，以及20个开发集样本。

训练过程使用了4位量化和LoRA技术，以便在普通硬件上进行微调。项目还提供了详细的训练脚本和参数设置，方便用户进行自定义训练。

评估结果

对于对话摘要和主题生成任务，LLM Toys在Dialogsum测试集上进行了评估。结果显示，3B和7B模型在ROUGE指标和主题相似度上都取得了不错的表现：

• RedPajama-INCITE-Base-3B-v1-dialogue-summary-topic: ROUGE-1: 0.453, ROUGE-2: 0.197, ROUGE-L: 0.365, 主题相似度: 0.888

• falcon-7b-paraphrase-tone-dialogue-summary-topic: ROUGE-1: 0.448, ROUGE-2: 0.195, ROUGE-L: 0.359, 主题相似度: 0.886

未来发展计划

LLM Toys项目的开发者计划在未来实现以下目标：

1. 添加测试用例
2. 实现在不重新初始化骨干模型和分词器的情况下切换LoRA（用于特定任务的模型）
3. 开发检索增强的问答功能
4. 探索3B模型在更多任务上的泛化能力
5. 研究更小的模型
6. 为没有现成测试/评估数据集的任务制定评估策略
7. 开发数据收集策略，并微调模型以实现类似OpenAI的"函数调用"功能

结论

LLM Toys为NLP领域带来了一套实用、轻量级的工具，使得开发者和研究者能够在普通硬件上使用先进的语言模型技术。通过提供多种任务的支持和简单的使用方法，LLM Toys有望在自然语言处理应用的开发中发挥重要作用。随着项目的不断发展和完善，我们可以期待看到更多创新功能和更广泛的应用场景。