LMFlow学习资料汇总 - 大模型微调与推理的可扩展工具箱

LMFlow学习资料汇总 - 大模型微调与推理的可扩展工具箱

LMFlow是一个开源的大模型微调与推理工具箱,旨在让整个社区都能方便地使用和训练大模型。本文汇总了LMFlow项目的主要学习资料和使用指南,帮助大家快速上手这个强大的工具。

项目简介

LMFlow是一个可扩展、方便、高效的大型机器学习模型微调工具箱,具有以下特点:

• 可扩展:支持常见的大模型backbone,如LLaMA, Galactica, GPT-2等
• 轻量级:使用LoRA等技术,极大减少了微调所需的参数量(例如LLaMA 33B模型只需25MB存储)
• 面向任务:在7B/33B规模模型上可以达到与ChatGPT相当的性能
• 开放:整个pipeline(数据、模型、微调、推理)都是开源的

快速开始

1. 安装

LMFlow目前主要支持Linux系统,建议在Linux机器或Google Colab上尝试:

git clone https://github.com/OptimalScale/LMFlow.git
cd LMFlow
conda create -n lmflow python=3.9 -y
conda activate lmflow  
conda install mpi4py
bash install.sh

2. 准备数据集

请参考数据集文档。

3. 微调

LMFlow支持全量微调、LISA和LoRA等多种微调方式,以下是一个使用LoRA微调的例子:

cd data && ./download.sh alpaca && cd -

bash ./scripts/run_finetune_with_lora.sh \
  --model_name_or_path facebook/galactica-1.3b \
  --dataset_path data/alpaca/train_conversation \
  --output_lora_path output_models/finetuned_galactica_lora

4. 推理

微调后,可以用以下命令与模型对话:

bash ./scripts/run_chatbot.sh output_models/finetuned_gpt2

主要功能

LMFlow支持多种大模型训练和推理加速技术:

• LISA:一种新的内存高效微调算法
• LoRA:参数高效的微调算法
• FlashAttention:支持FlashAttention-1和最新的FlashAttention-2
• 梯度检查点:用于大模型训练的内存优化技术
• Deepspeed Zero-3:支持Deepspeed Zero-3 Offload

此外还支持:

• 在CPU上推理LLaMA模型
• 使用vLLM进行快速推理
• LLaMA模型的位置插值,支持长上下文推理
• 词表扩展
• 多模态输入(图像+文本)

评测基准

LMFlow Benchmark是一个开源大语言模型的自动评测框架。它使用负对数似然(NLL)作为指标,评估语言模型在闲聊、常识推理和指令跟随等方面的能力。

您可以直接运行LMFlow benchmark评测来获得结果:

bash ./scripts/run_benchmark.sh --model_name_or_path gpt2-xl

更多资源

• 项目主页
• 官方文档
• 在线演示
• LMFlow论文

LMFlow是一个功能强大而且在持续更新的开源项目,欢迎大家试用并给出反馈。如果您觉得项目有帮助,请给项目点个star支持一下。使用中如有任何问题,也欢迎在GitHub上提issue讨论。