platypus-llm.github.io)

Platypus模型是一系列基于LLaMA和LLaMa-2 transformer架构的微调和合并变体。Platypus利用了LoRA和PEFT技术。

所有模型和数据集可通过HuggingFace获取：garage-bAInd

更新

2023年8月21日：如果您正在微调LLaMa-2 7B，请在HF trainer中添加bf16=True并将fp16=False更改为fp16=False。LLaMa-1 7B可按原样使用。这仅适用于LLaMa-2 7B。此外，如果您使用1个GPU，请在HF trainer中将ddp_find_unused_paramters=False更改为ddp_find_unused_paramters=False。我们将更新微调脚本以自动处理这些变更。

2023年8月14日：我们已经整理了我们的流程，并添加了数据优化和相似性代码。在接下来的几天内，我们将提供一个脚本，用于从11个开源数据集中精确复现我们的数据集。

2023年8月13日：我们最新合作的OpenOrca-Platypus2-13B的非量化GPU聊天机器人现已通过Hugging Face spaces提供，由OpenOrca提供：立即聊天！

2023年8月11日：我们的论文和项目网站已发布！

命令行界面

Fastchat为那些有兴趣运行模型的人提供了一个简单的设置。通过HuggingFace下载模型后，克隆Fastchat仓库：

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

下载所需的包：

pip3 install --upgrade pip  # 启用PEP 660支持
pip3 install -e .

最后，运行以下命令：

python3 -m fastchat.serve.cli --model-path garage-bAInd/Platypus-30B --conv_template alpaca

本地设置

此仓库支持多GPU，并提供代码以使用模型或数据并行，具体取决于您的计算资源。

安装依赖项
```
pip install -r requirements.txt
```
请确保使用这些确切的要求，否则可能会遇到模型保存或内存不足的问题。

微调（`finetune.py`）

运行fine-tuning.sh。

注意：上述脚本使用torchrun进行数据并行。由于技术上您可以在进行一些小的.py文件修改后运行微调而无需PyTorch，因此PyTorch不在requirements.txt中。要使用fine-tuning.sh，请安装PyTorch。我们建议使用torchrun和PyTorch 2.0+以提高速度和使用torch.compile。如果您不安装pytorch，或使用其他方法如accelerate launch，请花时间注释掉脚本中任何与torch相关的行。

用于微调Platypus的超参数：

超参数	13B / 70B的值
学习率	4e-4 / 3e-4
批量大小	16
微批量大小	1
预热步骤	100
轮次	1
权重衰减	0.
学习率调度器	cosine
lora alpha	16
lora rank	16
lora dropout	0.05
lora目标模块	gate_proj, up_proj, down_proj
截断长度	4096
训练输入	False
按长度分组	False
添加eos标记	False

使用2个GPU计算梯度累积步骤的示例：= 全局批量大小 / 微批量大小 / GPU数量 = 16 / 1 / 2 = 8。

如果您的模型无法适应每个GPU的内存，请使用下面的替代微调选项（或利用accelerate、FDSP等）以利用模型并行性。torchrun的一个好替代品是accelerate。

python finetune.py \
    --base_model meta-llama/Llama-2-70b-hf \
    --data-path ./final_data.json \
    --output_dir ./llama2-platypus-70b \
    --batch_size 16 \
    --micro_batch_size 1 \
    --num_epochs 1 \
    --learning_rate 0.0003 \
    --cutoff_len 4096 \
    --val_set_size 0 \
    --lora_r 16 \
    --lora_alpha 16 \
    --lora_dropout 0.05 \
    --lora_target_modules '[gate_proj, down_proj, up_proj]' \
    --train_on_inputs False \
    --add_eos_token False \
    --group_by_length False \
    --prompt_template_name alpaca \
    --lr_scheduler 'cosine' \
    --warmup_steps 100

合并

完成微调后，使用merge.sh将LoRA权重合并回基础LLaMa模型（或您选择的基础模型）以导出为HuggingFace格式。

虽然我们正在探索更好和替代的合并方法（敬请期待！），但我们目前的合并过程依赖于PEFT提供的基本线性合并。在微调之前，我们会搜索可能合并的模型以及用于创建它们的数据集（尽我们所能）。我们的LoRA合并成功源于使用正确的数据。我们最成功的合并几乎没有微调数据的重叠。例如，GPlatty-30B是Platypus-30B和gpt4-alpaca-lora-30b的合并。我们看到GPlatty的准确率提高了2%，而用于微调上述两个基于LoRA的模型的数据集相似度很低。有关更多信息，请参阅我们的论文。

注意： 如果在合并过程中遇到任何错误，请尝试卸载bitsandbytes和peft，然后重新安装最新版本（peft应始终从源代码安装）。

数据集优化

我们使用关键词搜索在构成Open-Platypus的11个开源数据集中查找STEM和逻辑问题。然后，为了删除重复和冗余，我们使用SentenceTransformers嵌入对问题进行余弦相似度检查。最后，我们进行相似度检查，以从训练集中删除与测试集过于相似的问题。

您可以在本仓库的data_pipeline文件夹中访问所有相关代码。

复现基准评估结果

安装LM Evaluation Harness：

git clone https://github.com/EleutherAI/lm-evaluation-harness
cd lm-evaluation-harness
git checkout b281b0921b636bc36ad05c0b0b0763bd6dd43463 # Open LLM Leaderboard使用的提交
pip install -e .

每个任务在单个A100 80GB GPU上评估13B模型，在2个A100上评估70B模型。

ARC：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks arc_challenge --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/arc_challenge_25shot.json --device cuda --num_fewshot 25

HellaSwag：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks hellaswag --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/hellaswag_10shot.json --device cuda --num_fewshot 10

MMLU：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks hendrycksTest-* --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/mmlu_5shot.json --device cuda --num_fewshot 5

TruthfulQA：

python main.py --model hf-causal-experimental --model_args pretrained=garage-bAInd/Platypus-13B,use_accelerate=True --tasks truthfulqa_mc --batch_size 2 --no_cache --write_out --output_path results/Platypus-13B/truthfulqa_0shot.json --device cuda

适配器推理（`inference.py`）

这是一个基本的示例脚本，用于直接使用微调的适配器和/或本地数据进行推理。当前版本从csv文件读取数据。您可以轻松编辑它以从HF拉取数据或使用json文件。在使用此脚本之前，请进行必要的编辑（假设使用alpaca格式）。

BibTeX

@article{platypus2023,
    title={Platypus: Quick, Cheap, and Powerful Refinement of LLMs}, 
    author={Ariel N. Lee and Cole J. Hunter and Nataniel Ruiz},
    booktitle={arXiv preprint arxiv:2308.07317},
    year={2023}
}