ZeroEval：评估语言模型的统一框架

ZeroEval是一个简单的统一框架，用于评估各种任务中的（大型）语言模型。这个代码库旨在评估经过指令微调的大型语言模型在各种推理任务（如MMLU和GSM）上的零样本表现。我们通过控制提示、采样、输出解析等因素，使用统一的设置来评估大型语言模型。在ZeroEval中，我们执行零样本提示，并指示语言模型以json格式输出推理过程和答案。我们正在积极添加新的任务。欢迎贡献！

排行榜：https://hf.co/spaces/allenai/ZeroEval
X帖子

安装

conda create -n zeroeval python=3.10
conda activate zeroeval
# pip install vllm -U # pip install -e vllm 
pip install vllm==0.5.1
pip install -r requirements.txt
# export HF_HOME=/path/to/your/custom/cache_dir/

</details>

任务

MMLU-redux (-d mmlu-redux)
GSM8K (-d gsm)
ZebraLogic (-d zebra-grid)
CRUX (-d crux)
更多任务将很快添加（例如，ARC、MMLU-Pro等）

使用方法

zero_eval_local.sh和zero_eval_api.sh是运行评估的两个主要脚本。

示例

bash zero_eval_local.sh -d mmlu-redux -m meta-llama/Meta-Llama-3-8B-Instruct -p Meta-Llama-3-8B-Instruct -s 4（在mmlu-redux上使用贪婪解码运行Llama-3-8B-Instruct）
bash zero_eval_api.sh -d gsm -f openai -m openai/gpt-4o-mini-2024-07-18 -p gpt-4o-mini-2024-07-18 -s 8（在gsm上使用贪婪解码运行gpt-4o-mini）
bash zero_eval_api.sh -d zebra-grid -f openai -m deepseek-chat -p deepseek-chat -s 8（通过openai风格的API运行deepseek-chat，在zebra-grid上使用贪婪解码）

更多示例可以在scripts文件夹中找到，例如scripts/_MMLU_redux.md和scripts/_GSM.md文件以及scripts/local/crux.sh。

参数

<details> <summary>命令行参数</summary>

参数	描述	默认值
`-d`	数据名称：`mmlu-redux`, `gsm`, `zebra-grid`, `alpaca_eval`, ...（参见src/task_configs.py）
`-m`	模型名称
`-p`	模型显示名称
`-s`	分片数量（当`-s 1`时，我们将使用所有GPU加载模型并运行推理；当`-s K`时，我们将使用K个GPU，将数据分成K个分片，每个GPU在单个分片上运行推理，最后合并结果。）	1
`-f`	引擎（`zero_eval_local.sh`默认为`vllm`，可更改为`hf`；对于`zero_eval_api.sh`，我们可以使用`openai`、`anthropic`等）	`zero_eval_local/api.sh`分别默认为`vllm`/`openai`
`-r`	运行名称（当指定时，结果将保存在带有`run_name`的子文件夹中）	"default"
`-t`	温度	0（贪婪解码）
`-o`	核采样的top_p值	1.0
`-e`	重复惩罚	1.0
`-b`	批量大小	4

</details>

结果

MMLU-Redux: python src/evaluation/mcqa_eval.py mmlu-redux --> 完整结果
GSM: python src/evaluation/gsm_eval.py --> 完整结果
ZebraLogic: python src/evaluation/zebra_grid_eval.py --> 完整结果和排行榜
CRUX: python src/evaluation/crux.py --> 完整结果
全部: python src/evaluation/summarize.py --> 完整结果 ⬇️ | 模型 | GSM8K | MMLU<br/>-Redux | ZebraLogic<br/>-Easy | CRUX | 平均分 | |:----------------------------|--------:|------------------:|-----------------------:|-------:|----------:| | claude-3-5-sonnet-20240620 | 95.60 | 86.00 | 87.50 | 78.75 | 86.96 | | gpt-4o-2024-05-13 | 95.38 | 88.01 | 77.86 | 83.62 | 86.22 | | Llama-3.1-405B-Inst-fp8 | 95.91 | 85.64 | 87.14 | 72.12 | 85.20 | | Mistral-Large-2 | 95.53 | 82.97 | 80.36 | 72.88 | 82.94 | | gemini-1.5-pro-exp-0801 | 95.00 | 85.53 | 72.50 | 73.00 | 81.51 | | claude-3-opus-20240229 | 95.60 | 82.54 | 78.21 | 68.62 | 81.24 | | Meta-Llama-3.1-70B-Instruct | 94.16 | 82.97 | 73.57 | 62.62 | 78.33 | | deepseek-v2-chat-0628 | 93.93 | 80.81 | 68.57 | 68.50 | 77.95 | | gpt-4o-mini-2024-07-18 | 94.24 | 81.50 | 62.50 | 73.50 | 77.94 | | deepseek-v2-coder-0724 | 91.51 | 80.24 | 61.79 | 67.75 | 75.32 | | Qwen2-72B-Instruct | 92.65 | 81.61 | 63.93 | 57.38 | 73.89 | | claude-3-sonnet-20240229 | 91.51 | 74.87 | 58.93 | 64.75 | 72.52 | | gemini-1.5-flash | 91.36 | 77.36 | 59.29 | 61.88 | 72.47 | | yi-large-preview | 82.64 | 82.15 | 58.93 | 58.63 | 70.59 | | Meta-Llama-3-70B-Instruct | 93.03 | 78.01 | 52.86 | 57.12 | 70.26 | | yi-large | 80.06 | 81.17 | 58.21 | 58.38 | 69.46 | | gemma-2-27b-it | 90.22 | 75.67 | 50.71 | 55.88 | 68.12 | | claude-3-haiku-20240307 | 88.78 | 72.32 | 47.86 | 53.62 | 65.64 | | reka-core-20240501 | 87.41 | 76.42 | 43.21 | 45.00 | 63.01 | | gemma-2-9b-it | 87.41 | 72.82 | 41.79 | 44.88 | 61.72 | | Yi-1.5-34B-Chat | 84.08 | 72.79 | 37.50 | 42.88 | 59.31 | | gpt-3.5-turbo-0125 | 80.36 | 68.36 | 33.57 | 53.25 | 58.88 | | Meta-Llama-3.1-8B-Instruct | 84.00 | 67.24 | 43.57 | 38.75 | 58.39 | | Phi-3-mini-4k-instruct | 75.51 | 70.34 | 38.21 | 43.50 | 56.89 | | Meta-Llama-3-8B-Instruct | 78.47 | 61.66 | 40.71 | 36.62 | 54.37 | | Qwen2-7B-Instruct | 80.06 | 66.92 | 29.29 | 36.75 | 53.26 | | Mixtral-8x7B-Instruct-v0.1 | 70.13 | 63.17 | 28.93 | 43.50 | 51.43 | | reka-flash-20240226 | 74.68 | 64.72 | 30.71 | 33.25 | 50.84 | | Yi-1.5-9B-Chat | 76.42 | 65.05 | 8.21 | 43.75 | 48.36 | | gemma-2-2b-it | 51.63 | 51.94 | 14.29 | 20.75 | 34.65 |

更新日志

2024年8月2日：添加了Gemini 1.5 Pro Exp 0801和CRUX结果
2024年7月31日：添加了Meta-Llama-3.1-70B-Instruct和gemma-2-2b-it
2024年7月29日：添加了Llama-3.1-8B、Mistral-Large-2和deepseek-coder-v2-0724

引用

如果您发现ZeroEval对您有用，请在您的出版物中按以下方式引用：

@software{Lin_ZeroEval_A_Unified_2024,
    author = {Lin, Bill Yuchen},
    month = jul,
    title = {{ZeroEval: A Unified Framework for Evaluating Language Models}},
    url = {https://github.com/yuchenlin/ZeroEval},
    year = {2024}
}