Chinese-Vicuna: 一个基于LLaMA的中文指令跟随模型

Chinese-Vicuna简介

Chinese-Vicuna是一个基于LLaMA的中文指令跟随模型，由研究者开发，旨在以低资源的方式实现高效的中文语言模型训练。该项目的主要目标是构建和分享可以在单个Nvidia RTX-2080TI上训练的中文指令跟随LLaMA模型调优方法，以及可以在单个Nvidia RTX-3090上训练的多轮聊天机器人（上下文长度为2048）。

Chinese-Vicuna的名称灵感来源于成功开发的alpaca模型，如llama、alpaca和guanaco。研究者希望训练一个小型但足够强大的中文alpaca，就像Vicuna（小羊驼）一样。

Chinese-Vicuna的优势

Chinese-Vicuna解决方案的主要优势包括：

1. 高参数效率
2. 显卡友好
3. 易于部署

具体来说，该项目实现了以下目标：

• 在2080Ti（11G）上可以进行Llama-7B指令调优
• 在3090（24G）上可以进行Llama-13B指令调优
• 在3090上甚至可以对长度为2048的对话进行Llama 7B微调；使用50,000条数据即可获得良好结果
• 提供Llama 7B在医疗和法律领域的微调示例
• 支持qlora-4bit，可以在2080Ti上训练Llama 13B
• 易于在2080Ti/3090上部署，支持多GPU推理，可以进一步降低VRAM使用

Chinese-Vicuna的开发背景

随着大型语言模型（LLM）的快速发展，如何以低资源、高效率的方式训练和部署这些模型成为了一个重要的研究方向。Chinese-Vicuna项目正是在这样的背景下诞生的，旨在为中文自然语言处理领域提供一个可行的解决方案。

项目的灵感来源于以下几个方面：

1. LLaMA模型的开源：Facebook AI Research（FAIR）团队发布的LLaMA模型为后续的研究提供了基础。
2. Self-Instruct技术：斯坦福大学开发的Self-Instruct技术为指令跟随模型的训练提供了新的思路。
3. BELLE和Guanaco数据集：这些高质量的中文指令数据集为模型训练提供了必要的数据支持。

Chinese-Vicuna的特点

1. 低资源需求

Chinese-Vicuna的一个显著特点是其低资源需求。研究者成功地在单个2080Ti（11G显存）上实现了某些结果，这大大降低了模型训练和部署的硬件门槛。

2. 高效的训练方法

项目采用了LORA（Low-Rank Adaptation）技术进行模型微调。LORA是一种用于帮助大型模型适应特定数据集的插件，其技术细节可以在论文LoRA: Low-Rank Adaptation of Large Language Models中找到。LORA的优势在于微调速度快，可以在很短的时间内得到一个小型模型（约30M），而且支持即插即用。

3. 多领域适用性

Chinese-Vicuna不仅在通用对话方面表现出色，还提供了在医疗和法律等特定领域的微调示例，展示了模型的多领域适用性。

4. 灵活的部署选项

项目支持多种部署方式，包括单GPU和多GPU推理，以及CPU上的纯C++推理。这为不同需求和硬件条件的用户提供了灵活的选择。

Chinese-Vicuna的性能表现

Chinese-Vicuna在多个方面展示了impressive的性能表现。以下是一些具体的性能指标：

7B模型性能

7B模型在各种任务上都表现出色，包括：

• 代码生成
• 自然语言理解和生成
• 数学计算
• 翻译
• 创意写作
• 多轮对话

例如，在代码生成任务中，模型能够生成正确的Python排序代码和二分查找代码。在自然语言处理任务中，模型能够准确回答"自然语言处理是什么"这样的问题。在创意写作方面，模型能够创作英文散文诗并将其翻译成中文。

13B模型性能

13B模型在单个3090上训练，相比7B模型展现出更强大的性能。它在更复杂的任务和更长的上下文处理方面表现更为出色。

医疗和法律领域的性能

Chinese-Vicuna在医疗和法律等专业领域也展示了良好的性能。项目提供了在这些垂直领域进行微调的示例，为特定领域的应用提供了可能性。

Chinese-Vicuna的使用方法

在Colab上尝试

Chinese-Vicuna提供了多个Colab链接，方便用户快速体验：

1. 使用指定的lora模型进行推理并生成WebUI
2. 使用收集的数据进行微调
3. 提供多轮对话交互的WebUI

本地安装和使用

对于想要在本地环境中使用Chinese-Vicuna的用户，项目提供了详细的安装和使用指南，包括：

1. 环境安装
2. 多GPU训练
3. 单GPU训练
4. 推理和使用Gradio生成网页（流式模式+束搜索）
5. 多轮交互和使用Gradio生成网页（流式模式+束搜索）
6. 基于alpaca-lora-serve的流式模式

CPU上的纯C++推理

项目还提供了在CPU上使用纯C++进行推理的方法，这为没有GPU的用户提供了一种可行的使用方案。

Chinese-Vicuna的未来展望

Chinese-Vicuna项目仍在持续发展中，研究者计划在以下方面进行改进和扩展：

1. 提高模型性能：通过更多的训练数据和优化的训练策略，进一步提升模型在各个任务上的表现。
2. 扩展领域适用性：开发更多垂直领域的微调示例，如教育、金融等。
3. 优化部署方案：探索更高效的量化方法，以在更低端的硬件上实现模型部署。
4. 增强多语言能力：提升模型在处理多语言任务时的性能。
5. 改进交互界面：开发更加用户友好的交互界面，方便非技术用户使用。

结论

Chinese-Vicuna项目为中文自然语言处理领域提供了一个低资源、高效率的解决方案。通过创新的训练方法和灵活的部署选项，Chinese-Vicuna使得高质量的中文语言模型变得更加易于获取和使用。无论是研究人员、开发者还是普通用户，都可以从这个项目中受益，探索大型语言模型的无限可能性。

随着项目的不断发展和完善，我们可以期待Chinese-Vicuna在未来为更多的应用场景提供支持，推动中文自然语言处理技术的进步。对于有志于探索和应用大型语言模型的个人和组织来说，Chinese-Vicuna无疑是一个值得关注和尝试的项目。