AlpacaFarm: 一个学习人类反馈方法的仿真框架

更改自动注释器：由于OpenAI已弃用text-davinci-003，我们无法使用原始的注释器池来自动生成偏好（用于微调或评估）。因此，我们切换到了AlpacaEval 1中的GPT-4注释器。所有结果应与AlpacaEval 1中的模型进行比较，而不是原始AlpacaFarm的结果。请注意，在这种新设置中可能不会出现过度优化（参见论文中的图4）。我们对造成的不便深表歉意。

由于像RLHF这样的方法复杂且成本高昂，对学习人类反馈的研究和开发非常困难。AlpacaFarm是一个模拟器，能以远低于通常成本的方式进行反馈学习的研究和开发，促进指令跟随和对齐的可访问研究。

请阅读我们的论文和博客文章，了解我们的研究发现详情。

这个仓库包含以下代码：

使用GPT-4等语言模型模拟偏好反馈
指令跟随模型的自动评估
PPO和best-of-n等基准方法的验证参考实现

运行我们代码所需的数据托管在HuggingFace上：https://huggingface.co/datasets/tatsu-lab/alpaca_farm。

使用和许可声明：AlpacaFarm仅供研究使用，并获得相应许可。数据集采用CC BY NC 4.0许可（仅允许非商业用途），使用该数据集训练的模型不应用于研究目的以外。权重差异也采用CC BY NC 4.0许可（仅允许非商业用途）。

AlpacaFarm

指令跟随模型通常通过3个步骤开发：

使用示范进行监督微调
从人类反馈中学习；通常是成对偏好
通过交互进行人工评估

AlpacaFarm的目标是提供三个关键组件来解决步骤2和3：低成本模拟来自API模型（如GPT-4、ChatGPT）的成对反馈，用于方法开发的自动评估，以及学习算法的参考实现，以供比较和修改。

安装

要安装稳定版本，运行：

pip install alpaca-farm

要安装main分支的最新提交版本，运行：

pip install git+https://github.com/tatsu-lab/alpaca_farm.git

要启用FlashAttention和其他优化，请安装flash-attn和apex包。

模拟成对偏好

笔记本示例：

对于所有评估和注释，我们使用AlpacaEval，结合我们的自动注释器池和额外的噪声来模拟人类注释的变异性。

首先，将环境变量OPENAI_API_KEY设置为您的OpenAI API密钥，并（可选）将OPENAI_ORG设置为组织ID。您可以通过运行以下命令来实现：

export OPENAI_API_KEY="sk..."

要注释您模型的输出对，请使用以下代码。有关更多详细信息或如果您的输出格式不同，请参考示例笔记本中的函数。

from alpaca_farm.auto_annotations import PairwiseAutoAnnotator
import json

# 加载一些数据
with open("examples/data/outputs_pairs.json") as f:
    outputs_pairs = json.load(f)[:6]
print(outputs_pairs[-1:])
# [{'instruction': '如果你能帮我写一封邮件邀请朋友们周五来吃晚饭，我将非常感激。',
#   'input': '',
#   'output_1': "亲爱的朋友们，\r\n\r\n希望这封邮件找到你们时一切安好。我很高兴邀请你们周五来吃晚饭。我们将在晚上7:00在[地点]见面。期待在那里见到你们。\r\n\r\n最好的祝愿，\r\n[姓名]",
#   'output_2': "嘿，大家好！\n\n我这周五晚上要办一个晚餐聚会，我很想邀请你们所有人来。我们会准备美味的食物，还能进行精彩的对话。\n\n请告诉我你们是否能来 - 我很期待能见到你们所有人！\n\n干杯，\n[你的名字]"}]

annotator = PairwiseAutoAnnotator()
annotated = annotator.annotate_pairs(outputs_pairs)
print(annotated[-1:])
# [{'instruction': '如果你能帮我给朋友们写一封邮件,邀请他们周五来吃晚餐,我将不胜感激。', 
# 'input': '', 
# 'output_1': "亲爱的朋友们,\r\n\r\n希望这封邮件能让你们安好。我很高兴邀请你们周五来吃晚餐。我们将于晚上7点在[地点]见面。期待与你们相聚。\r\n\r\n此致,\r\n[姓名]", 
# 'output_2': "嘿,大家好!\n\n我本周五晚上要举办一个晚宴,非常希望你们都能来。我们会准备丰盛的美食,还可以畅聊。\n\n如果你们能来的话请告诉我 - 我很期待见到你们!\n\n祝好,\n[你的名字]",
# 'annotator': 'chatgpt_2', 
# 'preference': 2}]

如果你有一个采样输出列表而不是成对输出,你可以使用以下方法。

multisample_outputs = [dict(instruction="重复以下内容", input="是", output=["是", "否", "也许", "重复"])]
print(annotator.annotate_samples(multisample_outputs))
# [{'sample_id': 0, 
#   'instruction': '重复以下内容', 
#   'input': '是', 
#   'output_1': '是', 
#   'output_2': '也许', 
#   'annotator': 'chatgpt_2', 
#   'preference': 1}]

运行自动评估

对于所有评估,我们使用带有自动注释器池的AlpacaEval。

首先,将环境变量OPENAI_API_KEY设置为你的OpenAI API密钥,并(可选)将OPENAI_ORG设置为组织ID。你可以通过运行以下命令来完成:

export OPENAI_API_KEY="sk..."

将你的模型添加到Alpaca排行榜的最简单方法是运行以下代码,这只需要你的模型在我们的评估数据上有输出。

from alpaca_farm.auto_annotations import alpaca_leaderboard
import datasets

# 在Alpaca评估数据上进行预测
alpaca_eval_data = datasets.load_dataset("tatsu-lab/alpaca_farm", "alpaca_farm_evaluation")["eval"]
...  # 使用数据获取模型的输出并保存
path_to_outputs = "examples/data/eval_gpt-3.5-turbo-0301.json"
# 输出应该是一个包含如下json的列表:
# [{'instruction': '有哪些从百老汇开始职业生涯的著名演员?', 'input': '', 'output': '一些从百老汇开始职业生涯的著名演员包括休·杰克曼、梅丽尔·斯特里普、丹泽尔·华盛顿、奥德拉·麦克唐纳和林-曼努尔·米兰达。', 'generator': 'gpt-3.5-turbo-0301', 'dataset': 'helpful_base', 'datasplit': 'eval'},
# ...]

alpaca_leaderboard(path_to_outputs, name="我的新奇模型")
#                               win_rate  standard_error  n_total  avg_length
# gpt35_turbo_instruct             81.71            1.33      801        1018
# alpaca-farm-ppo-sim-gpt4-20k     44.10            1.74      805         511
# 我的新奇模型                    41.54            2.01      597         327
# alpaca-farm-ppo-human            41.24            1.73      805         803
# alpaca-7b                        26.46            1.54      805         396
# text_davinci_001                 15.17            1.24      804         296

运行参考方法

我们提供了几种从成对反馈中学习的方法的参考实现。可以在examples/目录中找到运行这些方法的示例代码。这包括监督式微调、奖励建模、使用PPO的RLHF、最佳n次解码等。

以下我们给出复现论文中模型工件的示例命令。注意:

所有训练代码都在启用FlashAttention的8个80GB A100 GPU的机器上进行了测试。
最佳n次解码在单个80GB GPU上进行了测试。
监督式微调和奖励建模可以在4个80GB A100 GPU上运行,而PPO训练目前至少需要8个80GB GPU。
在运行以下代码之前,请确保将LLaMA检查点和分词器转换为HuggingFace格式,并将其存储在<your_path_to_hf_converted_llama_ckpt_and_tokenizer>。

监督式微调(SFT)

要复现论文中从LLaMA微调的SFT10k模型,请运行

bash examples/scripts/sft.sh \
  <your_output_dir_for_sft10k> \
  <your_wandb_run_name> \
  <your_path_to_hf_converted_llama_ckpt_and_tokenizer>

SFT10k模型将保存在<your_output_dir>,wandb运行的名称将是<your_wandb_run_name>。

奖励建模

要复现论文中训练的奖励模型,请运行

bash examples/scripts/reward_modeling.sh \
  <your_output_dir_for_reward_model> \
  <your_wandb_run_name> \
  <your_output_dir_for_sft10k> \
  <preference_dataset_name>

将<preference_dataset_name>设置为"alpaca_noisy_multi_preference"以获得模拟偏好奖励模型,设置为"alpaca_human_preference"以获得人类偏好奖励模型。

使用PPO的RLHF

要复现论文中使用模拟奖励模型训练的RLHF PPO模型,请运行

bash examples/scripts/rlhf_ppo.sh \
  <your_output_dir_for_ppo> \
  <your_wandb_run_name> \
  <your_output_dir_for_reward_model> \
  <your_output_dir_for_sft10k> \
  <kl_coef>

<your_output_dir_for_reward_model>应该指向根据上一步训练的模拟奖励模型或人类奖励模型。注意,人类奖励PPO的KL惩罚系数比模拟PPO大得多。将<kl_coef>设置为0.0067用于模拟PPO,设置为0.02用于人类PPO以复现我们的原始结果。 PPO模型的性能通常在20-80个PPO步骤(少于4次完整指令集遍历)时明显优于SFT,并在更多PPO步骤后开始下降。

最佳n次解码

要复现AlpacaFarm评估套件的最佳n次推理时间解码结果,请运行

python examples/best_of_n.py \
  --task "run_best_of_n" \
  --decoder_name_or_path <解码器的输出目录> \  # 可以是SFT模型或者PPO调优后的模型。
  --scorer_name_or_path <奖励模型的输出目录> \
  --num_return_sequences 16 \  # 这是best-of-n中的n。
  --per_device_batch_size 4 \  # 如果内存不足，可以减小这个值。
  --split "eval" \
  --mixed_precision "bf16" \
  --tf32 True \
  --flash_attn True \
  --output_path <存储样本的输出路径>

然后你可以直接使用生成的样本（位于<存储样本的输出路径>）进行我们的自动评估。

专家迭代

要复现我们在AlpacaFarm评估套件上的专家迭代结果，首先生成best-of-n样本。运行

python examples/best_of_n.py \
  --task "run_best_of_n" \
  --decoder_name_or_path <解码器的输出目录> \  # SFT10k模型。
  --scorer_name_or_path <奖励模型的输出目录> \
  --num_return_sequences 16 \  # 这是best-of-n中的n。
  --per_device_batch_size 4 \  # 如果内存不足，可以减小这个值。
  --split "unlabeled" \
  --mixed_precision "bf16" \
  --tf32 True \
  --flash_attn True \
  --output_path '<专家迭代数据的输出目录>/best_of_n_samples.json'

然后使用best-of-n样本从SFT10k检查点开始进行监督微调

bash examples/scripts/expiter.sh \
  <专家迭代的输出目录> \
  <你的wandb运行名称> \
  <SFT10k的输出目录> \
  <专家迭代数据的输出目录>

Quark

要复现我们在AlpacaFarm评估套件上的Quark结果，运行

bash examples/scripts/rlhf_quark.sh \
  <Quark的输出目录> \
  <你的wandb运行名称> \
  <奖励模型的输出目录> \
  <SFT10k的输出目录> \
  <kl_coef>

直接偏好优化 (DPO)

要复现我们在AlpacaFarm评估套件上的DPO结果，运行

bash examples/scripts/dpo.sh \
  <DPO的输出目录> \
  <你的wandb运行名称> \
  <SFT10k的输出目录>

OpenAI模型

要使用我们的提示和解码超参数运行OpenAI参考模型，运行

python examples/oai_baselines.py \
  --model_name <oai_模型名称> \
  --save_path <保存路径>

然后你可以直接使用生成的样本（位于<保存路径>）进行我们的自动评估。

下载预调优的AlpacaFarm模型

我们提供了奖励模型和所有参考方法的模型检查点，如我们论文中的表2所列。具体来说，我们在AlpacaFarm模拟和人类偏好数据上调优每种参考方法，并发布这两个版本。当前模型列表（可在这里获取）包括：

sft10k，我们用来收集偏好数据的监督学习基础模型。
reward-model-sim，在AlpacaFarm偏好数据上训练的奖励模型。
reward-model-human，在人类偏好数据上训练的奖励模型。
ppo-sim，在模拟中训练的最佳PPO检查点。
ppo-human，在人类数据上训练的最佳PPO检查点。
expiter-sim，在模拟中训练的最佳专家迭代检查点。
expiter-human，在人类数据上训练的最佳专家迭代检查点。
feedme-sim，在模拟偏好上训练的FeedME方法。
feedme-human，在人类偏好上训练的FeedME方法。
reward-condition-sim，在模拟偏好上训练的奖励条件方法。

要下载并恢复这些检查点，首先确保有一个转换为Hugging Face格式的LLaMA-7B检查点**（使用transformers>=4.29.2）**。然后，运行以下命令下载所有AlpacaFarm模型：

python -m pretrained_models.recover_model_weights \
  --llama-7b-hf-dir <你的hf转换后的llama检查点和分词器路径> \
  --alpaca-farm-model-name all

或者，指定一个特定的模型名称来只下载该模型：

python -m pretrained_models.recover_model_weights \
  --llama-7b-hf-dir <你的hf转换后的llama检查点和分词器路径> \
  --alpaca-farm-model-name <上面列出的模型名称之一> \
  --models-save-dir <保存所有模型的目录>

要单独下载任一奖励模型，你需要先将sft10k下载到<保存所有模型的目录>。

引用

如果你使用了本仓库中的数据或代码，请考虑引用我们的工作。

@misc{dubois2023alpacafarm,
      title={AlpacaFarm: A Simulation Framework for Methods that Learn from Human Feedback}, 
      author={Yann Dubois and Xuechen Li and Rohan Taori and Tianyi Zhang and Ishaan Gulrajani and Jimmy Ba and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto},
      year={2023},
      eprint={2305.14387},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}

如果你使用alpaca-farm>=0.2.0，请确保指明注释者已更改（因为text-davinci-003已被弃用）。偏好和胜率现在来自AlpacaEval 1，与我们论文中的数字不具可比性。你可以这样引用AlpacaEval：

@misc{alpaca_eval,
  author = {Xuechen Li and Tianyi Zhang and Yann Dubois and Rohan Taori and Ishaan Gulrajani and Carlos Guestrin and Percy Liang and Tatsunori B. Hashimoto },
  title = {AlpacaEval: An Automatic Evaluator of Instruction-following Models},
  year = {2023},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/tatsu-lab/alpaca_eval}}
}