LLamaTuner

项目介绍：LLamaTuner

LLamaTuner 是一个高效、灵活且功能齐全的工具包，旨在对大型语言模型（LLM）进行微调。这些模型包括 Llama3、Phi3、Qwen、Mistral 等。

高效性

广泛支持的GPU：LLamaTuner 支持在几乎所有 GPU 上进行 LLM 和 VLM 的预训练和微调。用户可以在单个 8GB 的 GPU 上微调整 7B 的 LLM，亦可在多节点上微调整超过 70B 的模型。
自动分配高性能运算操作：工具包可以自动分配 FlashAttention 和 Triton 内核等高性能操作来提高训练速度。
兼容性：兼容 DeepSpeed，能够轻松利用多种 ZeRO 优化技术。

灵活性

支持多种语言模型：包括 Llama3、Mixtral、Llama 2、ChatGLM、Qwen、Baichuan 等。
支持视觉语言模型（VLM）：如 LLaVA。
完善的数据管道：支持任何格式的数据集，包括开源和自定义格式。
多种训练算法：支持 QLoRA、LoRA、全参数微调等多种训练算法，用户可以根据自己的需求选择最适合的解决方案。

功能齐全

支持多种微调任务：包括持续预训练、指令微调和代理微调。
支持大模型对话：用户可使用预定义的模板与大模型进行对话。

支持的模型

LLamaTuner 支持多种大型语言模型，如 Baichuan、BLOOM、ChatGLM3、Command-R、DeepSeek (MoE)、Falcon、Gemma/CodeGemma、InternLM2、LLaMA、Mistral 等。模型的大小和模块的选择可以根据具体需求进行调整。

支持的训练方式

支持的训练方式包括全参数微调、冻结参数微调、LoRA 和 QLoRA。这些方法能够进行预训练、监督式微调、奖励建模、PPO、DPO 和 KTO 等多种训练任务。

支持的数据集

LLamaTuner 支持多种格式的数据集，大多数可以在 Hugging Face 数据集库中获取。这些数据集包括监督式微调数据集和偏好数据集，如 Stanford Alpaca 系列、BELLE 中文数据集、OpenAssistant、UltraChat 等。

数据预处理

在数据文件夹中提供多个数据预处理工具，帮助用户进行数据格式化和分类，如 data_utils.py、sft_dataset.py、conv_dataset.py 等。

模型目录

LLamaTuner 提供了一些在 Hugging Face 模型库中发布的模型，这些模型经过 QLoRA 训练，可用于推理和微调。如基于 Llama-7B 的全参数微调和经过 QLoRA 的 SFT 模型等。

硬件要求

对于不同的方法和模型大小，硬件要求各异，通常需要具备一定的显存容量，例如微调 7B 模型可能只需 12GB 显存，而调整 110B 模型则需要更高的显存资源。

入门指南

用户首先需要克隆这份代码仓库，然后根据需求选择适当的微调脚本。例如，可使用 train_qlora.py 基于 Alpaca 数据集进行基础模型的微调。

git clone https://github.com/jianzhnie/LLamaTuner.git
cd LLamaTuner

QLoRA int4 微调

train_qlora.py 代码是进行不同数据集上微调和推理的起点。常规微调命令如下：

python train_qlora.py --model_name_or_path <path_or_name>

对于大于 13B 的模型，建议调整学习率：

python train_qlora.py --learning_rate 0.0001 --model_name_or_path <path_or_name>

已知问题和限制

列举了一些已知的问题和错误，例如 4 位推理速度较慢和 LoRA 训练运行时可能发生错误。如果出现未列出的问题，请创建新问题并描述问题详情。

开源协议

LLamaTuner 在 Apache 2.0 许可证下发布。

致谢

感谢 Huggingface 团队在将 QLoRA 与 PEFT 和 transformers 库集成方面的支持，也感谢许多开源贡献者的工作。

引用

如果您在使用数据或代码时方便引用本项目，请使用以下格式：

@misc{Chinese-Guanaco,
  author = {jianzhnie},
  title = {LLamaTuner: Easy and Efficient Fine-tuning LLMs},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/jianzhnie/LLamaTuner}},
}