alpaca_eval

项目介绍：AlpacaEval

项目概览

AlpacaEval项目提供了一种用于评估指令跟随型语言模型（例如ChatGPT）的自动化工具。通常，这类模型的评估需要人类的参与，耗时且昂贵，并且难以重复。AlpacaEval通过基于大规模语言模型的自动评估来解决这些问题，使评估变得快速、经济实惠、可复制，并且在20,000条人类注释上经过验证。该工具特别适用于模型开发过程中。尽管我们对现有的自动评估流程进行了改进，但仍然存在一些基本局限性，例如偏好较长的输出。

核心功能

• 排行榜: AlpacaEval提供一个基于其评估集的一系列通用模型的排行榜。需要注意的是，自动评估器（例如GPT-4）可能对生成较长输出，以及在基础模型上经过细调的模型存在偏向。

• 自动评估器: 该工具提供一种与人类有高度一致性的自动评估器（经过20,000条注释的验证）。我们通过测量用户模型输出被强大的LLM（例如GPT-4）优于参考模型输出的比例来评估模型。默认情况下，评估器支持缓存和输出随机化。

• 自动评估器构建工具包: 提供一个简单的接口，用于构建高级自动评估器（例如支持缓存、批处理或多注释器）并分析其质量、价格、速度、统计能力、偏差和方差等。

• 人类评估数据: 提供20,000条基于AlpacaEval评估集上人类对给定和参考模型的偏好数据，其中2,500条是跨注释数据（四个人类对相同的650个例子进行注释）。

• AlpacaEval 数据集: 对AlpacaFarm评估集进行了简化处理，将"指令"和"输入"合并为一个字段，参考输出更长。

适用与不适用情境

使用场景:

• AlpacaEval作为人类评估的一种快速且经济的替代选项，特别适用于简单任务的指令跟随模型评估，在模型开发过程中需要快速进行多次评估时尤为有用。

不适用场景:

• AlpacaEval不应替代需要高风险决策的人类评估，例如决定模型发布。在某些情况下，其评估集的指令可能不代表LLM的高级应用；自动评估器可能偏好样式而非答案的事实性；AlpacaEval无法测量模型可能带来的风险。

快速开始

对于想要快速开始项目的用户，可以通过如下命令安装AlpacaEval的稳定版本：

pip install alpaca-eval

安装后可以通过以下方式使用：

export OPENAI_API_KEY=<your_api_key>
alpaca_eval --model_outputs 'example/outputs.json' 

这将打印排行榜到控制台，并将排行榜和注释保存到model_outputs文件所在目录。

排行榜解读

AlpacaEval的排行榜基于其自有的数据集。项目中已经计算出了若干重要模型的排行榜，使用不同的基准模型和自动注释器。用户可以按照以下步骤将他们自己的模型添加到排行榜：

1. 计算出用于评估的数据集，例如AlpacaEval中包含的805个例子。
2. 生成想要评估的模型输出(model_outputs)。
3. 选择一个自动评估器(annotators_config)，如alpaca_eval_gpt4_turbo_fn。

贡献

项目吸引了许多社区用户的贡献，支持不同模型、评估器、评估集和完成函数的贡献。用户可以在现有框架下进行模型、评估器或评估集的扩展。

局限性与分析

迄今为止，AlpacaEval在自动评估领域表现出诸多优越性，但也存在一些局限性，例如评估器可能偏好风格而不是答案的准确性，以及模型输出越长越受欢迎。

更新与额外分析

在最新版本中，AlpacaEval引入了“长度控制胜率”的概念，这提高了与ChatBot Arena的一致性。用户还可以去分析评估器的性能或探讨它们的局限性。

通过以上功能，AlpacaEval为模型开发者提供了一种快速、经济且可重复的人类评估替代方案。