Open-ChatGPT:开源实现ChatGPT的全流程框架

Open-ChatGPT是一个雄心勃勃的开源项目,旨在从零开始实现类似ChatGPT的大型语言模型。该项目由GitHub用户jianzhnie发起,为研究人员和开发者提供了一个完整的框架,用于训练和部署类ChatGPT的模型。本文将深入探讨Open-ChatGPT项目的各个方面,包括其背景、特点、数据处理、模型训练等核心内容。

项目背景与简介

随着ChatGPT的横空出世,大型语言模型(Large Language Models, LLMs)成为了人工智能领域的热门话题。然而,由于商业公司对核心技术的保密,许多研究人员和开发者难以深入了解这些模型的训练过程和实现细节。Open-ChatGPT项目应运而生,它的目标是提供一个开源的端到端训练框架,让更多人能够参与到大型语言模型的研究和开发中来。

Open-ChatGPT项目的核心是一个通用系统框架,能够自动化地对预训练的大型语言模型进行类似OpenAI InstructGPT的三阶段训练,最终产出高质量的ChatGPT风格模型。该项目实现了基于Transformer库和DeepSpeed的RLHF(Reinforcement Learning with Human Feedback)流程,支持分布式训练和模型卸载,可以适应极大规模的模型训练需求。

Open-ChatGPT Logo

项目特点

开源性: Open-ChatGPT采用Apache 2.0许可证,允许用户自由使用、修改和分发代码。
全流程框架: 项目涵盖了从数据收集、预处理到模型训练、评估的完整流程。
灵活性: 支持多种预训练模型,如LLaMA、Alpaca等,用户可以根据需求选择不同的基础模型。
高效训练: 集成了DeepSpeed等高效训练工具,支持分布式训练和模型并行,可以处理大规模模型。
RLHF支持: 实现了强化学习人类反馈(RLHF)流程,可以进一步提升模型性能。
丰富的文档: 项目提供了详细的文档和示例,方便用户快速上手和深入研究。

数据收集与处理

数据是训练高质量语言模型的关键。Open-ChatGPT项目为用户提供了丰富的指令数据集和RLHF数据集,同时也开发了统一的数据处理接口,方便用户处理各种类型的数据。

指令数据集

项目收集了多个开源的指令调优数据集,包括:

Stanford Alpaca: 斯坦福大学发布的52k条英文指令数据。
GPT4All: 包含806,199条由GPT-3.5-turbo生成的多任务指令数据。
Belle: 由链家AI实验室发布的超过100万条中文指令数据。
Natural Instructions: 来自Allen AI的多语言NLP任务指令数据集。

这些数据集涵盖了多种语言和任务类型,为模型训练提供了丰富多样的指令示例。

RLHF数据集

为了支持RLHF训练,项目还收集了多个人类反馈数据集:

Anthropic的HH-RLHF: 包含22k条有帮助性比较的数据。
Stanford的SHP: 包含385k条不同主题的人类偏好数据。
OpenAI的WebGPT比较: 包含19,578条用于奖励建模的比较数据。

这些数据集为模型的对齐和优化提供了宝贵的人类反馈信息。

数据预处理

Open-ChatGPT项目开发了统一的数据预处理代码,提供了一个通用接口来处理各种大型语言模型的数据。主要的数据处理功能包含在prompt_dataset.py和data_utils.py两个文件中。

数据格式化遵循以下统一模板:

[
  {
    "instruction": "指令字符串",
    "input": "输入字符串(可能为空)",
    "output": "输出字符串"
  }
]

这种统一的格式使得不同来源的数据可以被无缝整合,便于模型训练。

模型训练

Open-ChatGPT项目支持多种训练方式,包括全参数微调、LoRA(Low-Rank Adaptation)微调以及使用DeepSpeed进行大规模训练。

全参数微调

以Alpaca-7B模型为例,项目提供了以下训练超参数:

超参数	LLaMA-7B	LLaMA-13B
Batch size	128	128
Learning rate	2e-5	1e-5
Epochs	3	5
Max length	512	512
Weight decay	0	0

用户可以使用提供的脚本进行训练:

python train_alpaca.py \
    --model_name_or_path  'decapoda-research/llama-7b-hf' \
    --data_path tatsu-lab/alpaca  \
    --output_dir work_dir/ \
    --num_train_epochs 3 \
    --per_device_train_batch_size 1 \
    --per_device_eval_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 2000 \
    --save_total_limit 5 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1

使用DeepSpeed

对于内存受限的情况,项目集成了DeepSpeed以优化训练过程。用户可以通过以下命令使用DeepSpeed进行训练:

torchrun --nproc_per_node=8 train_alpaca.py \
    --model_name_or_path  'decapoda-research/llama-7b-hf' \
    --data_path tatsu-lab/alpaca  \
    --output_dir work_dir/  \
    --num_train_epochs 3 \
    --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 2 \
    --gradient_accumulation_steps 8 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 2000 \
    --save_total_limit 5 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --deepspeed "scripts/ds_config_zero3_auto.json"

LoRA微调

为了进一步降低计算资源需求,项目还支持使用LoRA进行高效微调:

python train_alpaca_lora.py \
    --model_name_or_path  decapoda-research/llama-7b-hf  \
    --data_path tatsu-lab/alpaca  \
    --output_dir work_dir_lora/ \
    --num_train_epochs 3 \
    --per_device_train_batch_size 4 \
    --per_device_eval_batch_size 4 \
    --gradient_accumulation_steps 8 \
    --evaluation_strategy "no" \
    --save_strategy "steps" \
    --save_steps 2000 \
    --save_total_limit 5 \
    --learning_rate 2e-5 \
    --weight_decay 0. \
    --warmup_ratio 0.03 \
    --lr_scheduler_type "cosine" \
    --logging_steps 1

模型推理

训练完成后,用户可以使用提供的推理脚本进行模型测试和部署。以下是一个简单的推理示例:

python generate_server.py \
    --model_name_or_path decapoda-research/llama-7b-hf \
    --lora_model_name_or_path  tloen/alpaca-lora-7b

对于内存受限的情况,项目还支持8位量化推理,可以通过添加--load_8bit参数来启用:

python generate_server.py \
    --model_name_or_path decapoda-research/llama-7b-hf \
    --lora_model_name_or_path  tloen/alpaca-lora-7b \
    --load_8bit