在软件开发的世界中,高效且准确地编辑大型代码库一直是一个挑战。随着人工智能技术的进步,特别是大型语言模型(LLM)的出现,为解决这一问题带来了新的可能性。Moatless Tools就是这样一个充满创新的项目,它巧妙地利用LLM的能力,为开发者提供了一套强大的代码编辑工具。
Moatless Tools是由开发者Albert Örwall发起的一个业余项目。其核心理念是,在使用LLM进行代码编辑时,关键不在于让AI代理自行推理出解决方案,而是构建优秀的工具来为提示词插入正确的上下文并妥善处理响应。这种approach强调了工具设计的重要性,而不是完全依赖AI的推理能力。
为了验证Moatless Tools的效果,项目团队使用了SWE-bench benchmark进行测试。结果令人瞩目:
更令人兴奋的是,使用Claude 3.5 Sonnet模型的0.0.2版本进一步提升了性能:
这些数据证明了Moatless Tools在效率和成本效益方面的优势,使其在SWE-Bench Lite排行榜上占据了第六名的位置。
Moatless Tools的核心是一个基于有限状态机的代理循环。这个循环在不同的状态之间转换,每个状态都有其特定的提示词和响应处理机制。主要的状态包括:
搜索(Search):使用函数调用来查找相关代码。搜索参数包括:
query
:使用自然语言描述所需代码code_snippet
:需要精确匹配的代码片段class_name
:搜索中包含的特定类名function_name
:搜索中包含的特定函数名file_pattern
:用于过滤特定文件类型或目录的glob模式搜索过程采用了基于llama index的向量索引进行语义搜索,这是一种经典的RAG(检索增强生成)解决方案。
识别(Identify):确定与任务相关的代码。如果未找到所有相关代码,则返回搜索状态。
编码计划(PlanToCode):将代码更改请求分解为针对代码库特定部分(代码跨度)的较小更改。
更改澄清(ClarifyChange):如果提议的更改影响了过大的代码部分,需要进行澄清以减少受影响的代码行数。
代码编辑(EditCode):代码编辑采用了受Aider启发的搜索/替换块概念。这种方法通过在进行更改前就达成对要更改内容的共识,降低了更改错误代码的风险。
尽管Moatless Tools目前仍处于实验阶段,项目开发者鼓励感兴趣的用户克隆仓库并尝试运行。特别值得一提的是,项目提供了一个Jupyter notebook,允许用户在任何仓库上运行Moatless Tools: