`EvalPlus(📖) => 📚`

<p align="center"> <a href="https://evalplus.github.io/leaderboard.html"><img src="https://img.shields.io/badge/%F0%9F%8F%86-leaderboard-8A2BE2"></a> <a href="https://openreview.net/forum?id=1qvx610Cu7"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/c91e4914-5efa-4604-9149-110b2ca5005a.svg"></a> <a href="https://huggingface.co/evalplus/"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ba5b3dda-1eaa-4eda-a4b0-d8cbd6370eb1.svg"></a> <a href="https://pypi.org/project/evalplus/"><img src="https://img.shields.io/pypi/v/evalplus?color=g"></a> <a href="https://pepy.tech/project/evalplus"><img src="https://static.pepy.tech/badge/evalplus"></a> <a href="https://hub.docker.com/r/ganler/evalplus" title="Docker"><img src="https://img.shields.io/docker/image-size/ganler/evalplus"></a> <a href="https://github.com/evalplus/evalplus/blob/master/LICENSE"><img src="https://img.shields.io/pypi/l/evalplus"></a> </p> <p align="center"> <a href="#-quick-start">🔥快速开始</a> • <a href="#-llm-generated-code">💻LLM代码</a> • <a href="#-useful-tools">🔨工具</a> • <a href="#-citation">📜引用</a> • <a href="#-acknowledgement">🙏致谢</a> </p>

关于

EvalPlus是一个针对LLM4Code的严格评估框架，具有以下特点：

✨ HumanEval+：比原始HumanEval多80倍的测试用例！
✨ MBPP+：比原始MBPP多35倍的测试用例！
✨ 评估框架：我们的软件包/镜像/工具可以轻松安全地在上述基准上评估LLM。

为什么选择EvalPlus？

✨ 精确评估和排名：查看我们的排行榜，了解严格评估前后最新的LLM排名。
✨ 编码严谨性：看看分数的差异！特别是使用EvalPlus测试前后的差异！分数下降越小越好，因为这意味着代码生成更加严谨，缺陷更少；而分数大幅下降则意味着生成的代码往往比较脆弱。
✨ 预生成样本：EvalPlus通过开源各种模型的LLM生成样本来加速LLM4Code研究 -- 无需重新运行昂贵的基准测试！

想了解更多细节？阅读我们的NeurIPS'23论文 以及我们的Google幻灯片！

[!Important]

🚧 MBPP+更新（从v0.1.0到v0.2.0）：我们最近通过删除一些test_list错误的任务（这些错误来自原始MBPP数据集本身）来改进和稳定MBPP+数据集，使其更易解决。在v0.1.0中，MBPP+有399个任务，而新的v0.2.0有378个任务。我们还改进了判定标准。因此，使用v0.2.0，基础测试和增强测试的pass@1可能会有约4个百分点的提升。

🔥 快速开始

[!Tip]

EvalPlus ❤️ bigcode-evaluation-harness！ HumanEval+和MBPP+已经集成到bigcode-evaluation-harness中，你也可以在那里运行EvalPlus数据集！

首先，请设置环境：

pip install evalplus --upgrade

<details><summary>⏬ 安装每日构建版本 <i>:: 点击展开 ::</i></summary> <div>

pip install "git+https://github.com/evalplus/evalplus.git" --upgrade

</div> </details> <details><summary>⏬ 将EvalPlus作为本地仓库使用？ <i>:: 点击展开 ::</i></summary> <div>

git clone https://github.com/evalplus/evalplus.git
cd evalplus
export PYTHONPATH=$PYTHONPATH:$(pwd)
pip install -r requirements.txt

</div> </details>

代码生成

实现GEN_SOLUTION函数，调用LLM生成完整解决方案（包括代码），并将样本保存到samples.jsonl：

from evalplus.data import get_[human_eval|mbpp]_plus, write_jsonl

samples = [
    dict(task_id=task_id, solution=GEN_SOLUTION(problem["prompt"]))
    for task_id, problem in get_[human_eval|mbpp]_plus().items()
]
write_jsonl("samples.jsonl", samples)

<details><summary>🤔 `problem`的结构？ <i>:: 点击展开 ::</i></summary> <div>

task_id是任务的标识符字符串
entry_point是函数名
prompt是带有文档字符串的函数签名

canonical_solution是标准实现（重新实现以修复HumanEval中的错误）
base_input是原始HumanEval中的测试输入
plus_input是EvalPlus带来的测试输入

</div> </details> > [!Note] > > **`samples.jsonl` 的预期格式** > > 1. `task_id`：任务ID，即 `get_[human_eval|mbpp]_plus()` 的键 > 2. `solution`（可选）：完整的解决方案（通常包括提示） > * 示例：`{"task_id": "HumanEval/?", "solution": "def f():\n return 1"}` > 3. `completion`（可选）：不包含提示的函数体 > * 示例：`{"task_id": "HumanEval/?", "completion": " return 1"}` > > `solution` 和 `completion` 只需提供一个。如果两者都提供，将使用 `solution`。 > 我们也接受以目录形式提供的解决方案，即 `--samples ${SAMPLE_DIR}`，其中 `${SAMPLE_DIR}` 的组织结构为：`${SAMPLE_DIR}/${TASK_ID}/{SAMPLE_ID}.py`（`${TASK_ID} = task_id.replace("/", "_")`）。

代码后处理

LLM生成的文本可能包含自然语言行或不完整的额外代码，导致无法编译。我们提供了一个名为 evalplus.sanitize 的工具来清理代码：

# 💡 如果您将代码存储在jsonl文件中：
evalplus.sanitize --samples samples.jsonl
# 清理后的代码将生成到 `samples-sanitized.jsonl`

# 💡 如果您将代码存储在目录中：
evalplus.sanitize --samples /path/to/vicuna-[??]b_temp_[??]
# 清理后的代码将生成到 `/path/to/vicuna-[??]b_temp_[??]-sanitized`

<details><summary>🔎 检查后处理代码的可编译性<i>:: 点击展开 ::</i></summary> <div>

要再次检查后处理结果，您可以使用 evalplus.syncheck 在清理前后检查代码有效性，它将打印出错误的代码片段及其错误原因：

# 💡 如果您将代码存储在jsonl文件中：
evalplus.syncheck --samples samples.jsonl --dataset [humaneval|mbpp]

# 💡 如果您将代码存储在目录中：
evalplus.syncheck --samples /path/to/vicuna-[??]b_temp_[??] --dataset [humaneval|mbpp]

</div> </details>

代码评估

强烈建议使用沙箱环境，如 docker：

docker run -v $(pwd):/app ganler/evalplus:latest --dataset [humaneval|mbpp] --samples samples.jsonl

...或者如果您不顾风险想在本地尝试 ⚠️：

evalplus.evaluate --dataset [humaneval|mbpp] --samples samples.jsonl

要在本地使用用户自定义数据集，您可以设置 HUMANEVAL_OVERRIDE_PATH 或 MBPP_OVERRIDE_PATH：

HUMANEVAL_OVERRIDE_PATH="/path/to/HumanEvalPlus.jsonl.gz" evalplus.evaluate --dataset humaneval --samples samples.jsonl

[!Tip]

您是否使用非常慢的机器？

LLM 解决方案在超时（以及内存不足等情况）时被视为失败。具体来说，我们设置超时时间 $T=\max(T_{base}, T_{gt}\times k)$，其中：

$T_{base}$ 是最小超时时间（可通过 --min-time-limit 配置；默认为1秒）；

$T_{gt}$ 是标准解决方案的运行时间（通过性能分析获得）；

$k$ 是可配置的因子 --gt-time-limit-factor（默认为4）；

如果您的机器太慢，并且得到高方差的结果，请尝试使用更大的 $k$ 和 $T_{base}$。

此外，不建议在运行评估时使机器过度压力。例如，在4核机器上使用 --parallel 64 或在评估过程中做其他事情都是不好的做法...

<details><summary>🤔 使用本地GitHub仓库进行评估？ <i>:: 点击展开 ::</i></summary> <div>

export PYTHONPATH=$PYTHONPATH:$(pwd)
python evalplus/evaluate.py --dataset humaneval --samples samples.jsonl

</div> </details> <details><summary>⌨️ 更多命令行标志 <i>:: 点击展开 ::</i></summary> <div>

--parallel：默认为核心数的一半
--base-only（store_true）：仅运行基础HumanEval测试
--i-just-wanna-run：强制重新运行

</div> </details>

输出应该类似于（以下是GPT-4贪婪解码示例）：

Computing expected output...
Expected outputs computed in 15.18s
Reading samples...
164it [00:04, 37.79it/s]
Evaluating samples...
100%|██████████████████████████████████████████| 164/164 [00:03<00:00, 44.75it/s]
Base
{'pass@1': 0.8841463414634146}
Base + Extra
{'pass@1': 0.768}

Base 是原始HumanEval的 pass@k
Base + Extra 是我们的 HumanEval+（带有额外测试）的 pass@k
"k"包括 [1, 10, 100]，其中小于或等于样本大小的k值将被使用
一个名为 samples_eval_results.jsonl 的缓存文件将被缓存。删除它以重新运行评估

<details><summary>🤔 需要多长时间？ <i>:: 点击展开 ::</i></summary> <div>

如果您进行贪婪解码，每个任务只有一个样本，评估应该只需要几秒钟。当运行200个样本 x 164个任务 x ~700+测试时，使用 --parallel 64 和 --test-details 可能需要大约2-10分钟。以下是一些加速评估的技巧：

使用 --parallel $(nproc)
如果您只想快速获得pass@k，请不要使用 --test-details，因为 --test-details 将运行所有测试（每个任务平均700+个），而不使用 --test-details 时，一旦样本失败第一个测试，测试就会立即停止。
使用我们预先评估的结果（参见 LLM生成的代码）
使用HumanEval+ Mini

</div> </details> > [!提示] > > 🚀 **试试 `HumanEvalPlus-Mini`!** 它选择了一组最小的高质量附加测试，几乎达到了完整版本的效果。只需添加 **`--mini`** 标志，运行速度可提高23+%！（如果使用 `--test-details` 评估所有测试而不停止，速度会更快）。 > > ```bash > docker run -v $(pwd):/app ganler/evalplus:latest --dataset humaneval --samples samples.jsonl --mini > # ...或者在本地运行 ⚠️ > # evalplus.evaluate --dataset humaneval --samples samples.jsonl --mini > ```

💻 LLM生成的代码

我们还分享了我们评估过的LLM预生成代码样本：

HumanEval+：见我们 v0.1.0 发布版的附件。
MBPP+：见我们 v0.2.0 发布版的附件。

每个样本文件都打包在一个名为 ${model_name}_temp_${temperature}.zip 的zip文件中。你可以将它们解压到一个名为 ${model_name}_temp_${temperature} 的文件夹中，然后从头开始运行评估：

evalplus.evaluate --dataset humaneval --samples ${model_name}_temp_${temperature}

🔨 实用工具

要使用这些工具，请先从GitHub安装仓库：

git clone https://github.com/evalplus/evalplus.git
cd evalplus
pip install -r tools/requirements.txt

代码生成

你可以使用 codegen/generate.py 进行代码生成。我们目前支持以下后端：

vllm：将 --model 设置为Hugging Face模型ID，如 microsoft/Phi-3-mini-128k-instruct
hf：HuggingFace Transformers；设置 --model 的方式相同
openai：配置 OPENAI_API_KEY；可以配置 --base-url
anthropic：配置 ANTHROPIC_API_KEY
mistral：配置 MISTRAL_API_KEY

python codegen/generate.py --model "mistralai/Mistral-7B-Instruct-v0.2" --greedy --root [结果路径] --dataset [mbpp|humaneval] --backend [vllm]

要使用用户自定义任务和数据集进行代码生成：

# 覆盖HumanEval数据集
HUMANEVAL_OVERRIDE_PATH="/path/to/HumanEvalPlus.jsonl.gz" python codegen/generate.py --model "mistralai/Mistral-7B-Instruct-v0.2" --greedy --root [结果路径] --dataset humaneval --backend [vllm|hf|openai]
# 覆盖MBPP数据集
MBPP_OVERRIDE_PATH="/path/to/MbppPlus.jsonl.gz" python codegen/generate.py --model "mistralai/Mistral-7B-Instruct-v0.2" --greedy --root [结果路径] --dataset mbpp --backend [vllm|hf|openai]

使用EvalPlus生成测试输入

请查看 evalplus/inputgen.py。

📜 引用

@inproceedings{evalplus,
  title = {Is Your Code Generated by Chat{GPT} Really Correct? Rigorous Evaluation of Large Language Models for Code Generation},
  author = {Liu, Jiawei and Xia, Chunqiu Steven and Wang, Yuyao and Zhang, Lingming},
  booktitle = {Thirty-seventh Conference on Neural Information Processing Systems},
  year = {2023},
  url = {https://openreview.net/forum?id=1qvx610Cu7},
}