AutoCoder学习资料汇总 - 一个超越GPT-4 Turbo的代码生成大模型

AutoCoder - 性能超越GPT-4 Turbo的代码生成大模型

AutoCoder是一个专门为代码生成任务设计的新型大语言模型,其在HumanEval基准测试集上的准确率超过了GPT-4 Turbo(2024年4月版本)。本文将为大家整理AutoCoder项目的相关学习资源,帮助感兴趣的读者快速了解和上手这个强大的模型。

官方资源

• GitHub仓库 - AutoCoder的官方代码库,包含了模型使用说明、评估代码等
• 项目论文 - 详细介绍AutoCoder模型的技术细节和实验结果
• HuggingFace模型页面 - 33B参数版本的模型文件下载
• AutoCoder-S (6.7B)模型 - 参数量更小的版本
• AutoCoder_QW_7B模型 - 最新发布的7B参数版本

模型特点

AutoCoder相比之前的开源模型,提供了一个新特性:它可以自动安装所需的包,并尝试运行代码直到确认没有问题,这个过程发生在用户希望执行代码时。这大大扩展了代码解释器的应用范围。

快速开始

1. 创建并激活conda环境:

conda create -n AutoCoder python=3.11
conda activate AutoCoder
pip install -r requirements.txt

2. 运行Web演示(包含代码解释器):

pip install gradio==3.48.0
cd /Web_demo
python chatbot.py

性能评估

AutoCoder在多个基准测试上都取得了优异的成绩:

• HumanEval: 90.9% (基础集), 78.0% (基础集+额外集)
• MBPP: 82.5% (基础集), 70.6% (基础集+额外集)

如需复现这些结果,可参考GitHub仓库中的评估代码。

注意事项

• 使用代码解释器时,建议设置do_sample = True(默认设置)
• 部署时最好使用Linux系统

社区资源

• OpenCodeInterpreter - 另一个开源的代码解释器项目,可以与AutoCoder对比学习
• EvalPlus - 用于评估代码生成模型的框架
• DS-1000 - 数据科学相关的代码生成基准测试集

联系方式

如有任何疑问,可以在GitHub仓库提issue,或直接联系作者邮箱: leib2765@gmail.com

AutoCoder作为一个性能超越GPT-4 Turbo的开源代码生成模型,为NLP和软件工程领域带来了新的可能。无论你是研究人员还是开发者,都可以尝试使用AutoCoder来提升代码生成的效率和质量。希望本文整理的资源能帮助你更好地了解和使用这个强大的工具!