SWE-bench

SWE-bench 项目介绍

SWE-bench 是一个旨在评估大型语言模型在真实世界中解决 GitHub 软件问题能力的基准。这个项目主要面向软件工程和自然语言处理研究领域，对语言模型能否生成解决特定代码库问题的补丁进行评估。

项目概览

SWE-bench 的核心目标是，通过分析代码库和相关问题，让语言模型生成修复所述问题的代码补丁。在这个过程中，SWE-bench 提供了一套标准化的评估机制，各大语言模型可以在此基础上被测试其解决真实世界软件问题的能力。

最新动态

• 2024年8月13日：推出 SWE-bench Verified! 这个全新的验证部分中，包括500个经过软件工程师确认可解的问题。
• 2024年6月27日：SWE-bench 通过 Docker 完全容器化，以实现更有重复性的评估过程。
• 2024年1月16日：SWE-bench 作为一项重要研究，被国际学习表象会议（ICLR 2024）接受，并将在会上进行口头报告。

使用指南

环境配置

为了提高评估的可重复性，SWE-bench 使用了 Docker 技术。用户需先安装 Docker，然后从源代码构建 SWE-bench。安装过程包括克隆项目仓库并进行必要的依赖安装。

评估使用

运行快速评估需要充足的计算资源，建议在配置较高的机器上进行，并注意调整评估参数，以确保评估的顺利进行。推荐使用 x86_64 架构的机器，支持 arm64 的功能处于实验阶段。

数据集与模型

SWE-bench 项目还提供了多个相关的数据集和语言模型以供下载使用，包括 SWE-Llama 13b 和 SWE-Llama 7b，及其相应的 PEFT 模型。项目的开源自然促进了更多的研究人员和开发者参与到这项研究中。

贡献与反馈

这个项目欢迎自然语言处理、机器学习以及软件工程领域的研究者和从业者加入。用户可以通过提交请求或问题来贡献自己的力量。

许可与引用

SWE-bench 项目以 MIT 许可协议发布。如果在研究中使用到 SWE-bench，期望使用者给予项目引用以示认可。

该项目的联系人包括 Carlos E. Jimenez 和 John Yang，他们乐于帮助更多的人了解并使用 SWE-bench。

总结来说，SWE-bench 是一个致力于推动语言模型在软件问题解决领域能力的研究项目，其提供的工具和资源有助于深化语言模型在实际应用中的表现评估。