AutoCodeRover：自主程序改进

<img src="https://github.com/nus-apr/auto-code-rover/assets/16000056/8d249b02-1db4-4f58-a5a4-bdb694d65ab1" alt="autocoderover_logo" width="200px" height="200px"> <a href="https://arxiv.org/abs/2404.05427">ArXiv 论文</a>        <a href="https://autocoderover.dev/">网站</a>        <a href="https://discord.gg/ScXsdE49JY">Discord 服务器</a>

整体工作流程

[!注意] 这是 AutoCodeRover 项目的公开版本。查看我们网站上的最新结果。

📣 更新

[2024年8月14日] 在 OpenAI 发布的 SWE-bench Verified 数据集上，AutoCodeRover(v20240620) 实现了 38.40% 的效能，AutoCodeRover(v20240408) 实现了 28.8% 的效能。更多详情请参阅 OpenAI 的博客文章和 SWE-bench 排行榜。
[2024年7月18日] AutoCodeRover 现在支持一种新模式，可以输出潜在修复位置列表。
[2024年6月20日] AutoCodeRover(v20240620) 现在在 SWE-bench-lite 上实现了 30.67% 的效能（pass@1）！
[2024年6月8日] 增加了对 Gemini、Groq（感谢 KasaiHarcore 的贡献！）和通过 AWS Bedrock 的 Anthropic 模型的支持（感谢 JGalego 的贡献！）。
[2024年4月29日] 增加了对 Claude 和 Llama 模型的支持。在这里查看支持的模型列表！更多模型支持即将推出。
[2024年4月19日] AutoCodeRover 现在支持在 GitHub issues 和本地 issues 上运行！欢迎尝试并提供反馈！

Discord - 用于一般讨论、问题和反馈的服务器。

👋 概述

AutoCodeRover 是一种完全自动化的方法，用于解决 GitHub issues（bug 修复和功能添加），它结合了 LLM 与分析和调试能力，以优先确定补丁位置，最终生成补丁。

[2024年6月20日更新] AutoCodeRover(v20240620) 现在可以解决 SWE-bench lite 中 30.67% 的问题（pass@1）！AutoCodeRover 在实现这一效能的同时保持经济实惠 - 每个任务花费 不到 0.7 美元，并在 7 分钟内 完成！

[2024年4月8日] AutoCodeRover(v20240408) 首次发布，在 SWE-bench lite 中解决了 19% 的问题（pass@1），超过了当前 AI 软件工程师的最先进效能。

AutoCodeRover 分两个阶段工作：

🔎 上下文检索：为 LLM 提供代码搜索 API，以导航代码库并收集相关上下文。
💊 补丁生成：LLM 根据检索到的上下文尝试编写补丁。

✨ 亮点

AutoCodeRover 有两个独特功能：

代码搜索 API 是 程序结构感知的。AutoCodeRover 不是通过简单的字符串匹配在文件中搜索，而是在抽象语法树中搜索相关的代码上下文（方法/类）。
当有测试套件可用时，AutoCodeRover 可以利用测试用例来实现更高的修复率，通过执行 统计故障定位。

🗎 arXiv 论文

AutoCodeRover：自主程序改进 [arXiv 2404.05427]

引用我们的工作时，请使用以下引用格式：

@misc{zhang2024autocoderover,
      title={AutoCodeRover: Autonomous Program Improvement},
      author={Yuntong Zhang and Haifeng Ruan and Zhiyu Fan and Abhik Roychoudhury},
      year={2024},
      eprint={2404.05427},
      archivePrefix={arXiv},
      primaryClass={cs.SE}
}

✔️ 示例：Django Issue #32347

作为示例，AutoCodeRover 成功修复了 Django 的 issue #32347。查看演示视频了解完整过程：

https://github.com/nus-apr/auto-code-rover/assets/48704330/719c7a56-40b8-4f3d-a90e-0069e37baad3

增强：利用测试用例

如果有测试用例可用，AutoCodeRover 可以解决更多问题。查看视频中的示例：

https://github.com/nus-apr/auto-code-rover/assets/48704330/26c9d5d4-04e0-4b98-be55-61c1d10a36e5

🚀 设置和运行

设置 API 密钥和环境

我们建议在 Docker 容器中运行 AutoCodeRover。

将 OPENAI_KEY 环境变量设置为你的 OpenAI 密钥：

export OPENAI_KEY=sk-YOUR-OPENAI-API-KEY-HERE

对于 Anthropic 模型，可以在这里找到 ANTHROPIC_API_KEY 环境变量

export ANTHROPIC_API_KEY=sk-ant-api...

GROQ_API_KEY 设置方法相同

构建并启动 Docker 镜像：

docker build -f Dockerfile -t acr .
docker run -it -e OPENAI_KEY="${OPENAI_KEY:-OPENAI_API_KEY}" -p 3000:3000 -p 5000:5000 acr

或者，你可以使用支持arm64（Apple silicon）和ppc以及amd64的Dockerfile.scratch。 Dockerfile.scratch将同时构建SWE-bench（从https://github.com/yuntongzhang/SWE-bench.git）和ACR。

docker build -f Dockerfile.scratch -t acr .

在Dockerfile.scratch中可以使用构建参数来自定义构建，如下所示：

docker build --build-arg GIT_EMAIL=your@email.com --build-arg GIT_NAME=your_id \
       --build-arg SWE_BENCH_REPO=https://github.com/your_id/SWE-bench.git \
       -f Dockerfile.scratch -t acr .

设置完成后，我们可以在三种模式下运行ACR：

GitHub问题模式：通过提供问题页面的链接，在实时GitHub问题上运行ACR。
本地问题模式：在本地仓库和包含问题描述的文件上运行ACR。
SWE-bench模式：在SWE-bench任务实例上运行ACR。

[GitHub问题模式] 设置并在新的GitHub问题上运行

如果你想在项目的新GitHub问题上使用AutoCodeRover，请准备以下内容：

克隆项目的链接（用于git clone ...）。
AutoCodeRover工作的项目版本的提交哈希（用于git checkout ...）。
GitHub问题页面的链接。

然后，在docker容器（或你的AutoCodeRover本地副本）中，运行以下命令来设置目标项目并生成补丁：

cd /opt/auto-code-rover
conda activate auto-code-rover
PYTHONPATH=. python app/main.py github-issue --output-dir output --setup-dir setup --model gpt-4o-2024-05-13 --model-temperature 0.2 --task-id <task id> --clone-link <项目克隆链接> --commit-hash <包含该问题的任何版本> --issue-link <问题页面链接>

以下是在langchain GitHub问题跟踪器中的一个问题上运行ACR的示例命令：

PYTHONPATH=. python app/main.py github-issue --output-dir output --setup-dir setup --model gpt-4o-2024-05-13 --model-temperature 0.2 --task-id langchain-20453 --clone-link https://github.com/langchain-ai/langchain.git --commit-hash cb6e5e5 --issue-link https://github.com/langchain-ai/langchain/issues/20453

<task id>可以是用于标识此问题的任何字符串。

如果补丁生成成功，最后会打印生成的补丁路径。

我们还提供了Web界面来可视化问题修复过程。在docker shell中，运行以下命令：

cd /opt/auto-code-rover/demo_vis/
bash run.sh

然后在网页浏览器中打开localhost:3000。

[本地问题模式] 在本地仓库和本地问题上设置和运行

除了克隆远程项目并在在线问题上运行ACR外，如果适合用例，你还可以提前准备本地仓库和问题。

要在本地问题和本地代码库上运行ACR，准备一个本地代码库并将问题描述写入文件，然后运行以下命令：

cd /opt/auto-code-rover
conda activate auto-code-rover
PYTHONPATH=. python app/main.py local-issue --output-dir output --model gpt-4o-2024-05-13 --model-temperature 0.2 --task-id <task id> --local-repo <本地项目仓库路径> --issue-file <包含问题描述的文件路径>

如果补丁生成成功，最后会打印生成的补丁路径。

[SWE-bench模式] 在SWE-bench任务上设置和运行

此模式用于在SWE-bench中包含的现有问题任务上运行ACR。

设置

在docker容器中，我们首先需要设置要在SWE-bench中运行的任务（例如，django__django-11133）。所有任务的列表可以在conf/swe_lite_tasks.txt中找到。

任务需要放在一个文件中，每行一个：

cd /opt/SWE-bench
echo django__django-11133 > tasks.txt

或者如果在arm64上运行（例如Apple silicon），可以尝试以下不依赖Python 3.6的任务（该环境不支持Python 3.6）：

echo django__django-16041 > tasks.txt

然后，通过运行以下命令设置这些任务：

cd /opt/SWE-bench
conda activate swe-bench
python harness/run_setup.py --log_dir logs --testbed testbed --result_dir setup_result --subset_file tasks.txt

一旦此任务的设置完成，将打印以下两行：

setup_map is saved to setup_result/setup_map.json
tasks_map is saved to setup_result/tasks_map.json

testbed目录现在将包含目标项目的克隆源代码。还将为此任务实例创建一个conda环境。

如果你想一起设置多个任务，将它们的ID放入tasks.txt并按照相同的步骤操作。

在SWE-bench中运行单个任务

在运行任务（这里是django__django-11133）之前，确保已按照上文所述进行了设置。

cd /opt/auto-code-rover
conda activate auto-code-rover
PYTHONPATH=. python app/main.py swe-bench --model gpt-4o-2024-05-13 --setup-map ../SWE-bench/setup_result/setup_map.json --tasks-map ../SWE-bench/setup_result/tasks_map.json --output-dir output --task django__django-11133

运行的输出可以在output/中找到。例如，为django__django-11133生成的补丁可以在类似这样的位置找到：output/applicable_patch/django__django-11133_yyyy-MM-dd_HH-mm-ss/extracted_patch_1.diff（目录名中的日期时间字段会根据实验运行的时间不同而不同）。

在SWE-bench中运行多个任务

首先，将所有要运行的任务的ID放在一个文件中，每行一个。假设这个文件是tasks.txt，可以使用以下命令运行任务：

cd /opt/auto-code-rover
conda activate auto-code-rover
PYTHONPATH=. python app/main.py swe-bench --model gpt-4o-2024-05-13 --setup-map ../SWE-bench/setup_result/setup_map.json --tasks-map ../SWE-bench/setup_result/tasks_map.json --output-dir output --task-list-file /opt/SWE-bench/tasks.txt

注意：确保tasks.txt中的任务都已在SWE-bench中设置完毕。参见上文的步骤。

使用配置文件

或者，可以使用配置文件来指定所有参数和要运行的任务。参见conf/vanilla-lite.conf作为示例。另请参阅EXPERIMENT.md了解配置文件中各项的详细信息。可以通过以下方式使用配置文件：

python scripts/run.py conf/vanilla-lite.conf

使用不同的模型

AutoCodeRover可以与不同的基础模型一起工作。你可以使用--model命令行参数设置要使用的基础模型。

当前支持的模型列表：

	模型	AutoCodeRover命令行参数
OpenAI	gpt-4o-2024-08-06	--model gpt-4o-2024-08-06
	gpt-4o-2024-05-13	--model gpt-4o-2024-05-13
	gpt-4-turbo-2024-04-09	--model gpt-4-turbo-2024-04-09
	gpt-4-0125-preview	--model gpt-4-0125-preview
	gpt-4-1106-preview	--model gpt-4-1106-preview
	gpt-3.5-turbo-0125	--model gpt-3.5-turbo-0125
	gpt-3.5-turbo-1106	--model gpt-3.5-turbo-1106
	gpt-3.5-turbo-16k-0613	--model gpt-3.5-turbo-16k-0613
	gpt-3.5-turbo-0613	--model gpt-3.5-turbo-0613
	gpt-4-0613	--model gpt-4-0613
Anthropic	Claude 3.5 Sonnet	--model claude-3-5-sonnet-20240620
	Claude 3 Opus	--model claude-3-opus-20240229
	Claude 3 Sonnet	--model claude-3-sonnet-20240229
	Claude 3 Haiku	--model claude-3-haiku-20240307
Meta	Llama 3 70B	--model llama3:70b
	Llama 3 8B	--model llama3
AWS	Claude 3 Opus	--model bedrock/anthropic.claude-3-opus-20240229-v1:0
	Claude 3 Sonnet	--model bedrock/anthropic.claude-3-sonnet-20240229-v1:0
	Claude 3 Haiku	--model bedrock/anthropic.claude-3-haiku-20240307-v1:0
Groq	Llama 3 8B	--model groq/llama3-8b-8192
	Llama 3 70B	--model groq/llama3-70b-8192
	Llama 2 70B	--model groq/llama2-70b-4096
	Mixtral 8x7B	--model groq/mixtral-8x7b-32768
	Gemma 7B	--model groq/gemma-7b-it

[!注意] 在免费计划中使用Groq模型可能会导致超出上下文限制，即使是简单的问题也可能出现这种情况。

[!注意] 关于使用本地模型（如llama3）运行ACR的一些说明：

在使用llama3模型之前，请安装ollama并使用ollama下载相应的模型（例如ollama pull llama3）。

你可以在主机上运行ollama服务器，而在其容器中运行ACR。ACR将尝试与主机上的ollama服务器通信。

如果你的设置是主机上的ollama + 容器中的ACR，我们建议在主机上安装Docker Desktop，除了Docker Engine之外。

Docker Desktop包含Docker Engine，并且还有一个虚拟机，使得从容器内部更容易访问主机端口。使用Docker Desktop，这种设置将无需额外努力即可工作。

当docker安装仅为Docker Engine时，你可能需要在启动ACR容器时的docker run命令中添加--net=host或--add-host host.docker.internal=host-gateway，以便ACR可以与主机上的ollama服务器通信。