open-chatgpt

Open-ChatGPT 项目介绍

项目简介

Open-ChatGPT 是一个开源库，旨在通过用户自己的数据和最少的计算资源来训练一个高度个性化的类似 ChatGPT 的 AI 模型。该项目提供了一个通用的系统框架，可以自动将用户熟悉的预训练大型语言模型通过 OpenAI InstructGPT 风格的三个阶段，生成用户自定义的高质量 ChatGPT 风格模型。

Open-ChatGPT 实施了通过变压器库和 DeepSpeed 提供支持的人类反馈强化学习（RLHF）技术。它支持分布式训练和卸载，可以适应极大型模型。如果对该项目感兴趣，可以通过给 GitHub 仓库加星 ⭐ 来表示支持。

数据收集

指令数据集

Open-ChatGPT 项目收集了一系列开源的指令调整数据集，用于训练文本和多模态对话型大型语言模型（如 GPT-4、ChatGPT、LLaMA、Alpaca）。这些数据集分为英语、中文和多语言版本，包含多任务和特定任务的数据集，以及人类生成、机器自指引生成和混合生成的数据集。

安装

用户可以通过以下命令来克隆 Open-ChatGPT 项目并安装依赖：

git clone https://github.com/jianzhnie/open-chatgpt.git
pip install -r requirements.txt

若需要使用 LORA 和其他参数高效方法，需安装 peft。
想要使用 DeepSpeed 加速模型训练，需要安装 DeepSpeed。

指令微调

对 Alpaca-7B 模型的微调

利用标准的 Hugging Face 训练代码对模型进行微调。以 LLaMA-7B 和 LLaMA-13B 为例，可设置如下超参：

批次大小：128
学习率：2e-5 / 1e-5
迭代次数：3 / 5
最大长度：512
权重衰减：0

对于希望使用 4 x A100（40GB）进行微调的用户，可以使用以下命令：

cd examples/alpaca/
python train_alpaca.py --model_name_or_path 'decapoda-research/llama-7b-hf' --data_path tatsu-lab/alpaca --output_dir work_dir/ --num_train_epochs 3 --per_device_train_batch_size 1 --per_device_eval_batch_size 1 --gradient_accumulation_steps 16 --evaluation_strategy "no" --save_strategy "steps" --save_steps 2000 --save_total_limit 5 --learning_rate 2e-5 --weight_decay 0. --warmup_ratio 0.03 --lr_scheduler_type "cosine" --logging_steps 1

使用 DeepSpeed

如果出现内存不足错误，可考虑使用 CPU 卸载功能：

将 --fsdp "full_shard auto_wrap offload" 打开。
也可考虑使用 DeepSpeed stage-3，以节省内存。

使用 LoRA 微调 Alpaca-7B

通过 Hugging Face 的 PEFT 和 Tim Dettmers 的 bitsandbytes，能够高效地使用 LoRA 方法对 LLaMA 模型进行微调。

推理

用户可通过提供的代码进行模型推理，通过 Gradio 界面对输入进行推断：

python generate_server.py --model_name_or_path decapoda-research/llama-7b-hf --lora_model_name_or_path tloen/alpaca-lora-7b

不足内存问题

若内存不足，可以通过添加 --load-8bit 选项启用 8 位压缩，从而减少内存使用。

贡献

项目欢迎任何感兴趣的开发者参与贡献。

许可证

Open-ChatGPT 在 Apache 2.0 许可证下发布。

致谢

致谢所有开源贡献者，特别是 Alpaca-LoRA、LoRA、Stanford Alpaca、Hugging Face、LLaMa 及 Vicuna 等项目。

引用

如果使用了相关数据或代码，请按照以下格式引用本项目：

@misc{open-chatgpt,
  author = {jianzhnie},
  title = {Open-ChatGPT, a chatbot based on Llama model},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/jianzhnie/open-chatgpt}},
}