Simple LLM Finetuner入门指南 - 基于LoRA方法的语言模型微调工具

simple-llm-finetuner

Simple LLM Finetuner:轻松实现语言模型微调

Simple LLM Finetuner是一个为初学者设计的简单界面,旨在帮助用户在普通NVIDIA GPU上使用LoRA(Low-Rank Adaptation)方法对各种语言模型进行微调。无论您是AI研究人员还是对LLM感兴趣的开发者,这个工具都能让您轻松实现个性化的语言模型训练。

Simple LLM Finetuner界面

主要特性

用户友好的界面:只需在UI中粘贴数据集,用双空行分隔样本即可。
可调节的参数:提供微调和推理的可调参数,方便用户根据需求进行设置。
初学者友好:每个参数都有详细解释,帮助新手理解并使用。
支持小数据集:使用256长度的小样本,甚至可以在普通Colab Tesla T4实例上运行。

快速上手

环境准备:
- Linux或WSL系统
- 现代NVIDIA GPU,VRAM >=16GB(小样本长度可能可以使用更少)

安装步骤:

conda create -n simple-llm-finetuner python=3.10
conda activate simple-llm-finetuner
conda install -y cuda -c nvidia/label/cuda-11.7.0
conda install -y pytorch=2 pytorch-cuda=11.7 -c pytorch
git clone https://github.com/lxe/simple-llm-finetuner.git
cd simple-llm-finetuner
pip install -r requirements.txt

启动应用:
```
python app.py
```
在浏览器中打开 http://127.0.0.1:7860/ 即可开始使用。