OpenCodeInterpreter：整合代码生成、执行和优化

<p align="center"> <img width="1000px" alt="OpenCodeInterpreter" src="https://yellow-cdn.veclightyear.com/835a84d5/76d1f2e8-8772-4b60-bac8-9f024f316a78.png"> </p> <p align="center"> <a href="https://opencodeinterpreter.github.io/">[🏠主页]</a> |<a href="https://arxiv.org/abs/2402.14658">[📄arXiv]</a> | <a href="https://huggingface.co/papers/2402.14658">[🤗HF论文]</a> | <a href="https://huggingface.co/datasets/m-a-p/Code-Feedback/">[📊数据集]</a> | <a href="https://huggingface.co/collections/m-a-p/opencodeinterpreter-65d312f6f88da990a64da456">[🤖模型]</a> | <a href="https://github.com/OpenCodeInterpreter/OpenCodeInterpreter/">[🛠️代码]</a> </p> <hr>

🌟 即将推出的功能

🔔新闻

🏆[2024-03-13]：我们的33B模型在BigCode排行榜上夺得榜首！

💡[2024-03-06]：我们已将OpenCodeInterpreter-DS系列的模型分数提交到EvalPlus！

💡[2024-03-01]：我们已开源OpenCodeInterpreter-SC2系列模型（基于StarCoder2基础模型）！

🛠️[2024-02-29]：我们的官方在线演示已部署在HuggingFace Spaces上！查看演示页面！

🛠️[2024-02-28]：我们已开源演示本地部署代码及设置指南。

✨[2024-02-26]：我们已开源OpenCodeInterpreter-DS-1.3b模型。

📘[2024-02-26]：我们已开源CodeFeedback-Filtered-Instruction数据集。

🚀[2024-02-23]：我们已开源项目中使用的名为Code-Feedback的数据集。

🔥[2024-02-19]：我们已开源OpenCodeInterpreter系列的所有模型！欢迎大家试用我们的模型，期待您的参与！😆

简介

OpenCodeInterpreter是一套开源代码生成系统，旨在缩小大型语言模型与复杂专有系统（如GPT-4 Code Interpreter）之间的差距。通过集成执行和迭代优化功能，它显著提升了代码生成能力。

模型

OpenCodeInterpreter系列的所有模型都已在Hugging Face上开源。您可以通过以下链接访问我们的模型：OpenCodeInterpreter模型。

OpenCodeInterpreter模型系列展示了编码模型性能的演进，尤其突显了集成执行反馈带来的显著提升。为了量化这些改进，我们在两个关键基准测试上进行了详细比较：HumanEval和MBPP。这种比较不仅展示了每个基准测试的个别性能指标，还提供了整体性能提升的综合视图。随后的表格简明扼要地总结了性能数据，清晰地展示了执行反馈如何提升模型在代码解释和执行任务中的能力。

基准测试	HumanEval (+)	MBPP (+)	平均 (+)
OpenCodeInterpreter-DS-1.3B	65.2 (61.0)	63.4 (52.4)	64.3 (56.7)
+ 执行反馈	65.2 (62.2)	65.2 (55.6)	65.2 (58.9)
OpenCodeInterpreter-DS-6.7B	76.2 (72.0)	73.9 (63.7)	75.1 (67.9)
+ 执行反馈	81.1 (78.7)	82.7 (72.4)	81.9 (75.6)
+ 合成人类反馈	87.2 (86.6)	86.2 (74.2)	86.7 (80.4)
+ 合成人类反馈（理想情况）	89.7 (86.6)	87.2 (75.2)	88.5 (80.9)
OpenCodeInterpreter-DS-33B	79.3 (74.3)	78.7 (66.4)	79.0 (70.4)
+ 执行反馈	82.9 (80.5)	83.5 (72.2)	83.2 (76.4)
+ 合成人类反馈	88.4 (86.0)	87.5 (75.9)	88.0 (81.0)
+ 合成人类反馈（理想情况）	92.7 (89.7)	90.5 (79.5)	91.6 (84.6)
OpenCodeInterpreter-CL-7B	72.6 (67.7)	66.4 (55.4)	69.5 (61.6)
+ 执行反馈	75.6 (70.1)	69.9 (60.7)	72.8 (65.4)
OpenCodeInterpreter-CL-13B	77.4 (73.8)	70.7 (59.2)	74.1 (66.5)
+ 执行反馈	81.1 (76.8)	78.2 (67.2)	79.7 (72.0)
OpenCodeInterpreter-CL-34B	78.0 (72.6)	73.4 (61.4)	75.7 (67.0)
+ 执行反馈	81.7 (78.7)	80.2 (67.9)	81.0 (73.3)
OpenCodeInterpreter-CL-70B	76.2 (70.7)	73.0 (61.9)	74.6 (66.3)
+ 执行反馈	79.9 (77.4)	81.5 (69.9)	80.7 (73.7)
OpenCodeInterpreter-GM-7B	56.1 (50.0)	39.8 (34.6)	48.0 (42.3)
+ 执行反馈	64.0 (54.3)	48.6 (40.9)	56.3 (47.6)
OpenCodeInterpreter-SC2-3B	65.2 (57.9)	62.7 (52.9)	64.0 (55.4)
+ 执行反馈	67.1 (60.4)	63.4 (54.9)	65.3 (57.7)
OpenCodeInterpreter-SC2-7B	73.8 (68.9)	61.7 (51.1)	67.8 (60.0)
+ 执行反馈	75.6 (69.5)	66.9 (55.4)	71.3 (62.5)
OpenCodeInterpreter-SC2-15B	75.6 (69.5)	71.2 (61.2)	73.4 (65.4)
+ 执行反馈	77.4 (72.0)	74.2 (63.4)	75.8 (67.7)

注：括号中的"(+)"表示HumanEval和MBPP基准测试的扩展版本得分。为确保公平比较，添加执行反馈的结果基于仅进行一次反馈迭代的结果，而非无限制迭代。这种方法突出了执行反馈对各基准测试性能提升的直接影响。

数据收集

在Code-Feedback的支持下，OpenCodeInterpreter整合了包含68K多轮交互的数据集，结合执行和人类反馈实现动态代码优化。有关数据收集程序的更多详细信息，请参阅数据收集下提供的readme文件。

评估

我们的评估框架主要使用HumanEval和MBPP，以及它们的扩展版本HumanEval+和MBPP+，利用EvalPlus框架进行更全面的评估。有关具体评估方法，请参阅评估README以获取更多详细信息。

演示

我们很高兴推出我们的开源演示，使用户能够轻松地使用我们的LLM在本地生成和执行代码。在演示中，用户可以利用LLM的强大功能生成代码并在本地执行，获得自动执行反馈。LLM会根据这些反馈动态调整代码，确保更流畅的编码体验。此外，用户可以与LLM模型进行基于聊天的交互，提供反馈以进一步改进生成的代码。

要开始探索演示并亲身体验这些功能，请参阅OpenCodeInterpreter演示README文件中概述的说明。祝您编码愉快！

快速开始

进入工作空间：

git clone https://github.com/OpenCodeInterpreter/OpenCodeInterpreter.git
cd demo

创建新的conda环境：conda create -n demo python=3.10
激活您创建的demo环境：conda activate demo
安装依赖：pip install -r requirements.txt
在此处创建一个具有写入权限的Huggingface访问令牌。我们的代码将仅使用此令牌在您自己的Huggingface帐户下创建和推送内容到名为opencodeinterpreter_user_data的特定存储库。如果您在自己的设备上部署此演示，我们无法访问您的数据。
将访问令牌添加到环境变量： export HF_TOKEN="您的huggingface访问令牌"

运行Gradio应用：

python3 chatbot.py --path "opencodeinterpreter模型系列的模型名称。例如：m-a-p/OpenCodeInterpreter-DS-6.7B"

视频

https://github.com/OpenCodeInterpreter/OpenCodeInterpreter/assets/46103100/2337f34d-f5ed-4ecb-857b-3c2d085b72fd

联系方式

如果您有任何疑问，请随时提出问题或通过以下电子邮件地址与我们联系：xiangyue.work@gmail.com，zhengtianyu0428@gmail.com。我们随时为您提供帮助！

引用

如果您发现这个仓库对您的研究有用，请引用我们的论文：

@article{zheng2024opencodeinterpreter,
   title={OpenCodeInterpreter：集成代码生成、执行和优化},
   author={郑天宇 and 张戈 and 沈天浩 and 刘雪玲 and 林比尔宇辰 and 付杰 and 陈文虎 and 岳翔},
   journal={arXiv预印本 arXiv:2402.14658},
   year={2024}
}