llm-toys

项目介绍：llm-toys

llm-toys 是一个面向生产环境的小型（7B及以下）语言模型微调项目，旨在为各种实用任务提供解决方案。该项目支持的任务包括文字复述、段落语气转换、对话总结与主题生成等。

项目目标

llm-toys 项目的主要目标是在消费级硬件上能够方便地微调和使用这些模型。通过对量化后的3B和7B大小的模型进行微调，3B模型专注于具体任务，而7B模型则涵盖了所有任务。

安装指南

要安装llm-toys，可以使用以下命令：

pip install llm-toys

注意：安装可能需要CUDA支持的GPU。如果遇到“安装的bitsandbytes版本没有GPU支持”，请参考相关解决方法。

可用模型

目前，llm-toys 提供了以下模型：

• llm-toys/RedPajama-INCITE-Base-3B-v1-paraphrase-tone：3B模型，支持文字复述和语气转换。
• llm-toys/RedPajama-INCITE-Base-3B-v1-dialogue-summary-topic：3B模型，用于对话总结和主题生成。
• llm-toys/falcon-7b-paraphrase-tone-dialogue-summary-topic：7B模型，涵盖所有支持的任务。

使用方法

3B 任务专用模型

• 文字复述：使用 Paraphraser 类，可以通过代码将一句话改写成不同的表达形式。
• 语气转换：同样借助 Paraphraser，可以改变一段文字的表达语气，如变更为“随意”、“专业”或“幽默”等。
• 对话总结和主题生成：通过 SummaryAndTopicGenerator 类，可以对一段对话生成摘要和主题。

通用7B模型

7B模型不仅能执行上述所有任务，还能利用GeneralTaskAssitant类处理多种任务。

数据训练

项目中使用的数据包括：

• 文字复述和语气转换：数据集包含了不同语气形式的文本，部分数据通过gpt-35-turbo生成，也包含了一些来自Quora问题和SQuAD 2.0的数据。
• 对话总结与主题生成：主要利用Dialogsum数据集的一部分，用于训练模型生成对话总结和主题。

评价结果

在对话总结与主题生成任务的评估中，llm-toys 达到了相对不错的评价指标，如rouge和主题相似度。

路线图

项目规划包括：

• 添加更多测试。
• 任务特定模型切换机制。
• 检索增强问答功能。
• 探索3B模型的多任务适应性。
• 开发更小的模型。
• 针对没有可用测试数据集的任务制定评价策略。
• 数据收集策略和微调模型以实现类似OpenAI功能的调用。

llm-toys 项目为用户提供了一种简单、高效的方式来处理文字处理任务，适合在普通的计算机硬件上进行操作，使得语言模型的微调和使用不再高不可攀。