使用LoRA方法在单个16G GPU上微调LLaMA模型

引言

大型语言模型(LLM)如LLaMA的微调一直是自然语言处理领域的一个热点话题。然而,由于这类模型参数量巨大,传统的微调方法往往需要强大的硬件支持。本文将介绍如何使用LoRA(Low-Rank Adaptation)方法,在单个16G GPU上对LLaMA模型进行高效微调,使得普通研究者也能参与到LLM的优化中来。

LoRA微调方法概述

LoRA是一种参数高效的微调技术,它通过只训练一小部分新增的低秩矩阵来适应下游任务,而保持预训练模型的大部分参数不变。这种方法大大降低了计算和内存需求,使得在有限资源下微调大型模型成为可能。

本项目基于FastChat,修改了LoRA训练代码,使用shareGPT语料库在16G显存的GPU上进行微调,内存占用约13G。主要技术要点包括:

1. 使用LoRA方法只训练部分参数
2. 采用半精度的llama-7b-hf作为基础模型
3. 使用load_in_8bit加载基础模型
4. 使用peft技术进行微调
5. 使用bitsandbytes加速训练

环境配置

在开始微调之前,需要先配置好相关环境:

1. 操作系统:centos或ubuntu
2. GPU:NVIDIA P100或T4,16G及以上显存
3. CUDA和conda环境

具体安装步骤如下:

1. 克隆项目代码

git clone https://github.com/git-cloner/llama-lora-fine-tuning
cd llama-lora-fine-tuning

2. 安装依赖包

conda create -n llama-lora python=3.10
conda activate llama-lora
pip3 install -r requirements.txt

3. 安装其他必要组件,如pkg-config和libicu

准备LLaMA模型

微调需要使用LLaMA模型作为基础。你可以下载原始模型并转换为半精度,或直接下载转换好的半精度模型。

1. 下载LLaMA模型

python -m llama.download --model_size 7B

2. 转换为Hugging Face格式

python3 ./convert_llama_weights_to_hf.py --input_dir ./pyllama_data --model_size 7B --output_dir ./pyllama_data/output/7B

准备语料库

高质量的训练数据对模型微调至关重要。本项目使用shareGPT语料库,具体步骤如下:

1. 下载shareGPT语料库
2. 合并语料文件
3. 将HTML转换为Markdown格式
4. 移除不需要的语言(可选)
5. 将长对话拆分成短对话

这些步骤可以通过项目提供的Python脚本完成。

模型微调

准备好模型和数据后,就可以开始微调过程:

CUDA_VISIBLE_DEVICES=0,1 \
deepspeed --num_gpus=2 fastchat/train/train_lora.py \
  --deepspeed ./deepspeed-config.json \
  --lora_r 8 \
  --lora_alpha 16 \
  --lora_dropout 0.05 \
  --model_name_or_path ./pyllama_data/output/7B \
  --data_path ./data/sharegpt_clean_split.json \
  --fp16 True \
  --output_dir ./output \
  --num_train_epochs 1 \
  --per_device_train_batch_size 14 \
  --per_device_eval_batch_size 14 \
  --gradient_accumulation_steps 1 \
  --evaluation_strategy "no" \
  --save_strategy "steps" \
  --save_steps 2400 \
  --save_total_limit 5 \
  --learning_rate 2e-5 \
  --weight_decay 0. \n  --warmup_ratio 0.03 \
  --lr_scheduler_type "cosine" \
  --logging_steps 1 \
  --model_max_length 512 \
  --gradient_checkpointing True

在P100(16G)上微调时,内存占用约13.5G。单轮训练需要120小时左右,约5天时间。model_max_length参数会影响训练时间,设置为1024时训练时间约为2048的一半,但可能影响推理效果。

如果使用A100 GPU,单卡微调只需约16小时。

测试微调后的模型

微调完成后,trained LoRa peft模型包含adapter_config.json、adapter_model.bin和trainer_state.json三个文件。可以使用以下命令测试模型:

CUDA_VISIBLE_DEVICES=0 python generate.py --base_model ./model/llama-7b --lora_weights ./model/llama-peft

结论

通过LoRA技术,我们成功在单个16G GPU上对LLaMA模型进行了微调。这为研究者和开发者提供了一种经济实惠的方式来定制和优化大型语言模型。尽管训练时间较长,但相比传统方法大大降低了硬件门槛。未来,随着更多高效微调技术的出现,我们有望看到更多创新性的LLM应用。

本项目为LLM微调领域提供了宝贵的实践经验,希望能够启发更多研究者参与到这一激动人心的领域中来。同时,也期待社区能够基于此项目,开发出更多高效、实用的LLM微调方案。