懂AI
evalplus

evalplus

提升大语言模型代码生成评估的框架

EvalPlus是一个开源框架,旨在严格评估大语言模型的代码生成能力。它包含HumanEval+和MBPP+两个增强数据集,测试用例数量大幅提升。该框架提供精确评估、代码严谨性检验、LLM生成样本等功能,可显著加速相关研究。EvalPlus支持代码生成、后处理和评估全流程,在GitHub开源并提供Docker镜像,便于研究人员使用。

EvalPlusLLM评估代码生成HumanEval+MBPP+Github开源项目
GitHubHugging Face论文文档

EvalPlus(📖) => 📚

<p align="center"> <a href="https://evalplus.github.io/leaderboard.html"><img src="https://img.shields.io/badge/%F0%9F%8F%86-leaderboard-8A2BE2"></a> <a href="https://openreview.net/forum?id=1qvx610Cu7"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/c91e4914-5efa-4604-9149-110b2ca5005a.svg"></a> <a href="https://huggingface.co/evalplus/"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ba5b3dda-1eaa-4eda-a4b0-d8cbd6370eb1.svg"></a> <a href="https://pypi.org/project/evalplus/"><img src="https://img.shields.io/pypi/v/evalplus?color=g"></a> <a href="https://pepy.tech/project/evalplus"><img src="https://static.pepy.tech/badge/evalplus"></a> <a href="https://hub.docker.com/r/ganler/evalplus" title="Docker"><img src="https://img.shields.io/docker/image-size/ganler/evalplus"></a> <a href="https://github.com/evalplus/evalplus/blob/master/LICENSE"><img src="https://img.shields.io/pypi/l/evalplus"></a> </p> <p align="center"> <a href="#-quick-start">🔥快速开始</a> • <a href="#-llm-generated-code">💻LLM代码</a> • <a href="#-useful-tools">🔨工具</a> • <a href="#-citation">📜引用</a> • <a href="#-acknowledgement">🙏致谢</a> </p>

关于

EvalPlus是一个针对LLM4Code的严格评估框架，具有以下特点：

  • ✨ HumanEval+：比原始HumanEval多80倍的测试用例！
  • ✨ MBPP+：比原始MBPP多35倍的测试用例！
  • ✨ 评估框架：我们的软件包/镜像/工具可以轻松安全地在上述基准上评估LLM。

为什么选择EvalPlus？

  • ✨ 精确评估和排名：查看我们的排行榜，了解严格评估前后最新的LLM排名。
  • ✨ 编码严谨性：看看分数的差异！特别是使用EvalPlus测试前后的差异！分数下降越小越好，因为这意味着代码生成更加严谨，缺陷更少；而分数大幅下降则意味着生成的代码往往比较脆弱。
  • ✨ 预生成样本：EvalPlus通过开源各种模型的LLM生成样本来加速LLM4Code研究 -- 无需重新运行昂贵的基准测试！

想了解更多细节？阅读我们的NeurIPS'23论文 以及我们的Google幻灯片！

[!Important]

🚧 MBPP+更新（从v0.1.0到v0.2.0）： 我们最近通过删除一些test_list错误的任务（这些错误来自原始MBPP数据集本身）来改进和稳定MBPP+数据集，使其更易解决。 在v0.1.0中，MBPP+有399个任务，而新的v0.2.0有378个任务。 我们还改进了判定标准。因此，使用v0.2.0，基础测试和增强测试的pass@1可能会有约4个百分点的提升。

🔥 快速开始

[!Tip]

EvalPlus ❤️ bigcode-evaluation-harness！ HumanEval+和MBPP+已经集成到bigcode-evaluation-harness中，你也可以在那里运行EvalPlus数据集！

首先，请设置环境：

pip install evalplus --upgrade
<details><summary>⏬ 安装每日构建版本 <i>:: 点击展开 ::</i></summary> <div> 
pip install "git+https://github.com/evalplus/evalplus.git" --upgrade
</div> </details> <details><summary>⏬ 将EvalPlus作为本地仓库使用？ <i>:: 点击展开 ::</i></summary> <div> 
git clone https://github.com/evalplus/evalplus.git
cd evalplus
export PYTHONPATH=$PYTHONPATH:$(pwd)
pip install -r requirements.txt
</div> </details>

代码生成

实现GEN_SOLUTION函数，调用LLM生成完整解决方案（包括代码），并将样本保存到samples.jsonl：

from evalplus.data import get_[human_eval|mbpp]_plus, write_jsonl

samples = [
    dict(task_id=task_id, solution=GEN_SOLUTION(problem["prompt"]))
    for task_id, problem in get_[human_eval|mbpp]_plus().items()
]
write_jsonl("samples.jsonl", samples)
<details><summary>🤔 `problem`的结构？ <i>:: 点击展开 ::</i></summary> <div>
  • task_id是任务的标识符字符串
  • entry_point是函数名
  • prompt是带有文档字符串的函数签名
  • canonical_solution是标准实现（重新实现以修复HumanEval中的错误）
  • base_input是原始HumanEval中的测试输入
  • plus_input是EvalPlus带来的测试输入
</div> </details> > [!Note] > > **`samples.jsonl` 的预期格式** > > 1. `task_id`：任务ID，即 `get_[human_eval|mbpp]_plus()` 的键 > 2. `solution`（可选）：完整的解决方案（通常包括提示） > * 示例：`{"task_id": "HumanEval/?", "solution": "def f():\n return 1"}` > 3. `completion`（可选）：不包含提示的函数体 > * 示例：`{"task_id": "HumanEval/?", "completion": " return 1"}` > > `solution` 和 `completion` 只需提供一个。如果两者都提供，将使用 `solution`。 > 我们也接受以目录形式提供的解决方案，即 `--samples ${SAMPLE_DIR}`，其中 `${SAMPLE_DIR}` 的组织结构为：`${SAMPLE_DIR}/${TASK_ID}/{SAMPLE_ID}.py`（`${TASK_ID} = task_id.replace("/", "_")`）。

代码后处理

LLM生成的文本可能包含自然语言行或不完整的额外代码，导致无法编译。我们提供了一个名为 evalplus.sanitize 的工具来清理代码：

# 💡 如果您将代码存储在jsonl文件中：
evalplus.sanitize --samples samples.jsonl
# 清理后的代码将生成到 `samples-sanitized.jsonl`

# 💡 如果您将代码存储在目录中：
evalplus.sanitize --samples /path/to/vicuna-[??]b_temp_[??]
# 清理后的代码将生成到 `/path/to/vicuna-[??]b_temp_[??]-sanitized`
<details><summary>🔎 检查后处理代码的可编译性<i>:: 点击展开 ::</i></summary> <div>

要再次检查后处理结果，您可以使用 evalplus.syncheck 在清理前后检查代码有效性，它将打印出错误的代码片段及其错误原因：

# 💡 如果您将代码存储在jsonl文件中：
evalplus.syncheck --samples samples.jsonl --dataset [humaneval|mbpp]

# 💡 如果您将代码存储在目录中：
evalplus.syncheck --samples /path/to/vicuna-[??]b_temp_[??] --dataset [humaneval|mbpp]
</div> </details>

代码评估

强烈建议使用沙箱环境，如 docker：

docker run -v $(pwd):/app ganler/evalplus:latest --dataset [humaneval|mbpp] --samples samples.jsonl

...或者如果您不顾风险想在本地尝试 ⚠️：

evalplus.evaluate --dataset [humaneval|mbpp] --samples samples.jsonl

要在本地使用用户自定义数据集，您可以设置 HUMANEVAL_OVERRIDE_PATH 或 MBPP_OVERRIDE_PATH：

HUMANEVAL_OVERRIDE_PATH="/path/to/HumanEvalPlus.jsonl.gz" evalplus.evaluate --dataset humaneval --samples samples.jsonl

[!Tip]

您是否使用非常慢的机器？

LLM 解决方案在超时（以及内存不足等情况）时被视为失败。 具体来说，我们设置超时时间 $T=\max(T_{base}, T_{gt}\times k)$，其中：

  • $T_{base}$ 是最小超时时间（可通过 --min-time-limit 配置；默认为1秒）；
  • $T_{gt}$ 是标准解决方案的运行时间（通过性能分析获得）；
  • $k$ 是可配置的因子 --gt-time-limit-factor（默认为4）；

如果您的机器太慢，并且得到高方差的结果，请尝试使用更大的 $k$ 和 $T_{base}$。

此外，不建议在运行评估时使机器过度压力。 例如，在4核机器上使用 --parallel 64 或在评估过程中做其他事情都是不好的做法...

<details><summary>🤔 使用本地GitHub仓库进行评估？ <i>:: 点击展开 ::</i></summary> <div> 
export PYTHONPATH=$PYTHONPATH:$(pwd)
python evalplus/evaluate.py --dataset humaneval --samples samples.jsonl
</div> </details> <details><summary>⌨️ 更多命令行标志 <i>:: 点击展开 ::</i></summary> <div>
  • --parallel：默认为核心数的一半
  • --base-only（store_true）：仅运行基础HumanEval测试
  • --i-just-wanna-run：强制重新运行
</div> </details>

输出应该类似于（以下是GPT-4贪婪解码示例）：

Computing expected output...
Expected outputs computed in 15.18s
Reading samples...
164it [00:04, 37.79it/s]
Evaluating samples...
100%|██████████████████████████████████████████| 164/164 [00:03<00:00, 44.75it/s]
Base
{'pass@1': 0.8841463414634146}
Base + Extra
{'pass@1': 0.768}
  • Base 是原始HumanEval的 pass@k
  • Base + Extra 是我们的 HumanEval+（带有额外测试）的 pass@k
  • "k"包括 [1, 10, 100]，其中小于或等于样本大小的k值将被使用
  • 一个名为 samples_eval_results.jsonl 的缓存文件将被缓存。删除它以重新运行评估
<details><summary>🤔 需要多长时间？ <i>:: 点击展开 ::</i></summary> <div>

如果您进行贪婪解码，每个任务只有一个样本，评估应该只需要几秒钟。 当运行200个样本 x 164个任务 x ~700+测试时，使用 --parallel 64 和 --test-details 可能需要大约2-10分钟。 以下是一些加速评估的技巧：

  • 使用 --parallel $(nproc)
  • 如果您只想快速获得pass@k，请不要使用 --test-details，因为 --test-details 将运行所有测试（每个任务平均700+个），而不使用 --test-details 时，一旦样本失败第一个测试，测试就会立即停止。
  • 使用我们预先评估的结果（参见 LLM生成的代码）
  • 使用HumanEval+ Mini
</div> </details> > [!提示] > > 🚀 **试试 `HumanEvalPlus-Mini`!** 它选择了一组最小的高质量附加测试，几乎达到了完整版本的效果。只需添加 **`--mini`** 标志，运行速度可提高23+%！（如果使用 `--test-details` 评估所有测试而不停止，速度会更快）。 > > ```bash > docker run -v $(pwd):/app ganler/evalplus:latest --dataset humaneval --samples samples.jsonl --mini > # ...或者在本地运行 ⚠️ > # evalplus.evaluate --dataset humaneval --samples samples.jsonl --mini > ```

💻 LLM生成的代码

我们还分享了我们评估过的LLM预生成代码样本：

每个样本文件都打包在一个名为 ${model_name}_temp_${temperature}.zip 的zip文件中。 你可以将它们解压到一个名为 ${model_name}_temp_${temperature} 的文件夹中，然后从头开始运行评估：

evalplus.evaluate --dataset humaneval --samples ${model_name}_temp_${temperature}

🔨 实用工具

要使用这些工具，请先从GitHub安装仓库：

git clone https://github.com/evalplus/evalplus.git
cd evalplus
pip install -r tools/requirements.txt

代码生成

你可以使用 codegen/generate.py 进行代码生成。 我们目前支持以下后端：

  • vllm：将 --model 设置为Hugging Face模型ID，如 microsoft/Phi-3-mini-128k-instruct
  • hf：HuggingFace Transformers；设置 --model 的方式相同
  • openai：配置 OPENAI_API_KEY；可以配置 --base-url
  • anthropic：配置 ANTHROPIC_API_KEY
  • mistral：配置 MISTRAL_API_KEY
python codegen/generate.py --model "mistralai/Mistral-7B-Instruct-v0.2" --greedy --root [结果路径] --dataset [mbpp|humaneval] --backend [vllm]

要使用用户自定义任务和数据集进行代码生成：

# 覆盖HumanEval数据集
HUMANEVAL_OVERRIDE_PATH="/path/to/HumanEvalPlus.jsonl.gz" python codegen/generate.py --model "mistralai/Mistral-7B-Instruct-v0.2" --greedy --root [结果路径] --dataset humaneval --backend [vllm|hf|openai]
# 覆盖MBPP数据集
MBPP_OVERRIDE_PATH="/path/to/MbppPlus.jsonl.gz" python codegen/generate.py --model "mistralai/Mistral-7B-Instruct-v0.2" --greedy --root [结果路径] --dataset mbpp --backend [vllm|hf|openai]

使用EvalPlus生成测试输入

请查看 evalplus/inputgen.py。

📜 引用

@inproceedings{evalplus,
  title = {Is Your Code Generated by Chat{GPT} Really Correct? Rigorous Evaluation of Large Language Models for Code Generation},
  author = {Liu, Jiawei and Xia, Chunqiu Steven and Wang, Yuyao and Zhang, Lingming},
  booktitle = {Thirty-seventh Conference on Neural Information Processing Systems},
  year = {2023},
  url = {https://openreview.net/forum?id=1qvx610Cu7},
}

🙏 致谢

编辑推荐精选

Keevx

Keevx

AI数字人视频创作平台

Keevx 一款开箱即用的AI数字人视频创作平台，广泛适用于电商广告、企业培训与社媒宣传，让全球企业与个人创作者无需拍摄剪辑，就能快速生成多语言、高质量的专业视频。

即梦AI

即梦AI

一站式AI创作平台

提供 AI 驱动的图片、视频生成及数字人等功能，助力创意创作

扣子-AI办公

扣子-AI办公

AI办公助手，复杂任务高效处理

AI办公助手，复杂任务高效处理。办公效率低？扣子空间AI助手支持播客生成、PPT制作、网页开发及报告写作，覆盖科研、商业、舆情等领域的专家Agent 7x24小时响应，生活工作无缝切换，提升50%效率！

TRAE编程

TRAE编程

AI辅助编程，代码自动修复

Trae是一种自适应的集成开发环境（IDE），通过自动化和多元协作改变开发流程。利用Trae，团队能够更快速、精确地编写和部署代码，从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能，是提升开发效率的理想工具。

热门AI工具生产力协作转型TraeAI IDE
蛙蛙写作

蛙蛙写作

AI小说写作助手，一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台，涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能，助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI助手AI工具AI写作工具AI辅助写作蛙蛙写作学术助手办公助手营销助手
问小白

问小白

全能AI智能助手，随时解答生活与工作的多样问题

问小白，由元石科技研发的AI智能助手，快速准确地解答各种生活和工作问题，包括但不限于搜索、规划和社交互动，帮助用户在日常生活中提高效率，轻松管理个人事务。

聊天机器人AI助手热门AI工具AI对话
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手，它拥有超精准的音频识别翻译能力，几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球，无论你是留学生、商务人士、韩剧美剧爱好者，还是出国游玩、多国会议、跨国追星等等，都可以满足你所有需要同传的场景需求，线上线下通用，扫除语言障碍，让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word，让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目，能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定，还是学生群体的职业生涯规划、实习避坑指南，亦或是活动策划、旅游攻略等内容，它都能提供支持，帮助用户精准表达，轻松呈现各种信息。

热门AI工具AI办公办公工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图
讯飞星火

讯飞星火

深度推理能力全新升级，全面对标OpenAI o1

科大讯飞的星火大模型，支持语言理解、知识问答和文本创作等多功能，适用于多种文件和业务场景，提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台，涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能，能为不同需求的用户提供便捷高效的帮助，助力用户轻松获取信息、解决问题，满足多样化使用场景。

模型训练热门AI工具内容创作智能问答AI开发讯飞星火大模型多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目，由多个知名机构联合参与。该项目提供了高效的 LLM（大语言模型）驱动的语音合成方案，支持语音克隆和语音创建功能，可通过命令行界面（CLI）和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数，生成高质量的语音。该项目适用于多种场景，如有声读物制作、智能语音助手开发等。

下拉加载更多