ChatGLM-LoRA-RLHF-PyTorch:通过LoRA和RLHF为ChatGLM模型微调的完整流程

ChatGLM-LoRA-RLHF-PyTorch项目介绍

ChatGLM-LoRA-RLHF-PyTorch是一个开源项目,旨在提供一个完整的流程,在消费级硬件上使用LoRA和RLHF技术对ChatGLM大语言模型进行微调。该项目实现了基于ChatGLM架构的RLHF(基于人类反馈的强化学习),可以看作是ChatGLM版本的ChatGPT。

项目特点

1. 完整流程:提供了从数据处理、监督微调到奖励建模的全流程实现。
2. 硬件友好:可在消费级GPU(如2080Ti)上运行。
3. 先进技术:结合了LoRA和RLHF等最新的微调技术。
4. 适配ChatGLM:专门针对ChatGLM模型架构进行了适配。

环境配置

项目推荐的运行环境如下:

GPU: 2080Ti 12G
PyTorch: 2.0.0
CUDA: 11.8

主要功能模块

1. 数据处理
2. 监督微调(SFT)
3. 奖励模型训练
4. RLHF微调(TODO)

下面我们将详细介绍各个模块的实现。

数据处理

数据处理是微调过程的第一步,主要包括以下两个步骤:

1. 转换Alpaca数据集

项目提供了将Alpaca数据集转换为jsonl格式的脚本:

python cover_alpaca2jsonl.py --data_path data/alpaca_data.json --save_path data/alpaca_data.jsonl

2. 数据tokenization

使用以下命令对数据进行tokenization处理:

python tokenize_dataset_rows.py --jsonl_path data/alpaca_data.jsonl --save_path data/alpaca --max_seq_length 200 --skip_overlength True

这一步将数据转换为模型可直接使用的token序列。

监督微调(SFT)

监督微调是对预训练模型进行初步微调的过程。项目使用了LoRA技术来提高微调效率。

安装最新版PEFT

首先需要安装最新版的PEFT库:

pip uninstall peft -y
pip install git+https://github.com/huggingface/peft.git

运行SFT

使用以下命令启动监督微调:

python supervised_finetune.py --dataset_path data/alpaca --lora_rank 8 --per_device_train_batch_size 1 --gradient_accumulation_steps 32 --save_steps 200 --save_total_limit 3  --learning_rate 1e-4 --fp16 --remove_unused_columns false --logging_steps 10 --output_dir output

主要参数说明:

• lora_rank: LoRA秩,控制可训练参数量
• per_device_train_batch_size: 每个设备的batch size
• gradient_accumulation_steps: 梯度累积步数
• learning_rate: 学习率

合并LoRA权重

微调完成后,可以将LoRA权重合并到原始模型中:

pip install peft==0.2.0
python merge_peft_adapter.py --model_name ./output

注意这里需要使用peft 0.2.0版本。

奖励模型训练

奖励模型是RLHF中的关键组件,用于评估生成文本的质量。

实现奖励模型

由于ChatGLM模型结构的特殊性,项目自行实现了奖励模型,代码在reward_model.py中。

训练奖励模型

使用以下命令训练奖励模型:

python train_reward_model.py --model_name 'THUDM/chatglm-6b' --gradient_accumulation_steps 32 --per_device_train_batch_size 1 --train_subset 100 --eval_subset 10 --local_rank 0 --bf16 False

主要参数:

• model_name: 使用的基础模型
• train_subset/eval_subset: 训练和验证集大小
• bf16: 是否使用bfloat16精度

合并奖励模型

训练完成后,同样可以将权重合并到原始模型:

python merge_peft_adapter.py --model_name ./reward_model_chatglm-6b

项目注意事项

1. PEFT版本问题:merge_peft_adapter时需要使用0.2.0版本。
2. ChatGLM模型代码:需要手动下载到本地models目录。
3. 加载模型时需要设置trust_remote_code=True。
4. 自行实现了奖励模型,以适配ChatGLM结构。

总结

ChatGLM-LoRA-RLHF-PyTorch项目提供了一个完整的流程,让研究者能够在消费级硬件上对ChatGLM模型进行LoRA微调和RLHF训练。虽然目前RLHF部分还在开发中,但已经实现的SFT和奖励模型训练为后续的强化学习奠定了基础。

该项目的开源为ChatGLM模型的进一步优化提供了宝贵的参考,也为其他研究者探索大语言模型的微调技术提供了便利。我们期待看到更多基于该项目的创新应用与改进。

从项目的Star历史可以看出,该项目受到了研究社区的广泛关注,star数量呈稳定上升趋势。这反映出研究者对于在消费级硬件上微调大语言模型的浓厚兴趣,以及对ChatGLM模型的看好。

未来展望

虽然ChatGLM-LoRA-RLHF-PyTorch项目已经提供了一个相当完整的微调流程,但仍有一些值得期待的改进方向:

1. 完成RLHF部分的实现,提供端到端的强化学习训练流程。
2. 优化模型训练效率,探索更多节省显存的技巧。
3. 提供更多的评估指标和benchmark,以便更好地衡量微调效果。
4. 探索将该流程应用到其他大语言模型的可能性。

总的来说,ChatGLM-LoRA-RLHF-PyTorch为中文大语言模型的开源社区贡献了宝贵的资源。我们期待看到更多研究者基于该项目进行创新,推动中文AI技术的进步。同时,该项目也为其他语言的大模型微调提供了有益的参考。未来,随着硬件性能的提升和算法的优化,我们有理由相信在个人PC上运行和优化大语言模型将变得越来越普及。