Awesome-Code-LLM

<div align="center"> <h1>👨‍💻 超赞代码大语言模型</h1> <a href="https://awesome.re"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/0806eb5c-9350-46a5-9ee7-fbb20731433b.svg" alt="超赞"> </a> <a href="https://img.shields.io/badge/PRs-Welcome-red"> <img src="https://img.shields.io/badge/PRs-Welcome-red" alt="欢迎提交PR"> </a> <a href="https://img.shields.io/github/last-commit/huybery/Awesome-Code-LLM?color=green"> <img src="https://img.shields.io/github/last-commit/huybery/Awesome-Code-LLM?color=green" alt="最后提交"> </a> </div>

🚀 排行榜

<p align="center"> <b>中央排行榜</b>（按HumanEval Pass@1排序） </p> | 模型 | 参数量 | HumanEval | MBPP | HF | 来源 | | ------------------------ | ------ | --------- | ---- | ------------------------------------------------------------- | ------------------------------------------------------- | | GPT-4 + Reflexion | 未知 | 91.0 | 77.1 | | [论文](https://arxiv.org/abs/2303.11366) | | GPT-4 (最新版) | 未知 | 84.1 | 80.0 | | [GitHub](https://github.com/deepseek-ai/DeepSeek-Coder) | | CodeQwen1.5-7B-Chat | 7B | 83.5 | 70.6 | [检查点](https://huggingface.co/Qwen/CodeQwen1.5-7B-Chat) | [GitHub](https://github.com/QwenLM/CodeQwen1.5) | | DeepSeek-Coder-Instruct | 33B | 79.3 | 70.0 | [检查点](https://hf.co/deepseek-ai/deepseek-coder-33b-instruct) | [GitHub](https://github.com/deepseek-ai/DeepSeek-Coder) | | DeepSeek-Coder-Instruct | 7B | 78.6 | 65.4 | [检查点](https://hf.co/deepseek-ai/deepseek-coder-33b-instruct) | [GitHub](https://github.com/deepseek-ai/DeepSeek-Coder) | | GPT-3.5-Turbo (最新版) | 未知 | 76.2 | 70.8 | | [GitHub](https://github.com/deepseek-ai/DeepSeek-Coder) | | Code-Llama | 34B | 62.2 | 61.2 | | [论文](https://arxiv.org/abs/2308.12950) | | Pangu-Coder2 | 15B | 61.6 | | | [论文](https://arxiv.org/abs/2307.14936) | | WizardCoder-15B | 15B | 57.3 | 51.8 | [检查点](https://hf.co/WizardLM/WizardCoder-15B-V1.0) | [论文](https://arxiv.org/abs/2306.08568) | | CodeQwen1.5-7B | 7B | 51.8 | 61.8 | [检查点](https://huggingface.co/Qwen/CodeQwen1.5-7B) | [GitHub](https://github.com/QwenLM/CodeQwen1.5) | | Code-Davinci-002 | 未知 | 47.0 | | | [论文](https://arxiv.org/abs/2107.03374) | | StarCoder-15B (提示版) | 15B | 40.8 | 49.5 | [检查点](https://hf.co/bigcode/starcoder) | [论文](https://arxiv.org/abs/2305.06161) | | PaLM 2-S | 未知 | 37.6 | 50.0 | | [论文](https://arxiv.org/abs/2204.02311) | | PaLM-Coder-540B | 540B | 36.0 | 47.0 | | [论文](https://arxiv.org/abs/2204.02311) | | InstructCodeT5+ | 16B | 35.0 | | | [论文](https://arxiv.org/abs/2305.07922) | | StarCoder-15B | 15B | 33.6 | 52.7 | [检查点](https://hf.co/bigcode/starcoder) | [论文](https://arxiv.org/abs/2305.06161) | | Code-Cushman-001 | 未知 | 33.5 | 45.9 | | [论文](https://arxiv.org/abs/2107.03374) | | CodeT5+ | 16B | 30.9 | | | [论文](https://arxiv.org/abs/2305.07922) | | LLaMA2-70B | 70B | 29.9 | | [检查点](https://hf.co/meta-llama/Llama-2-70b-hf) | [论文](https://arxiv.org/abs/2307.09288) | | CodeGen-16B-Mono | 16B | 29.3 | 35.3 | | [论文](https://arxiv.org/abs/2203.13474) | | PaLM-540B | 540B | 26.2 | 36.8 | | [论文](https://arxiv.org/abs/2204.02311) | | LLaMA-65B | 650亿 | 23.7 | 37.7 | | [论文](https://arxiv.org/abs/2302.13971) | | CodeGeeX | 130亿 | 22.9 | 24.4 | | [论文](https://arxiv.org/abs/2303.17568) | | LLaMA-33B | 330亿 | 21.7 | 30.2 | | [论文](https://arxiv.org/abs/2302.13971) | | CodeGen-16B-Multi | 160亿 | 18.3 | 20.9 | | [论文](https://arxiv.org/abs/2203.13474) | | AlphaCode | 11亿 | 17.1 | | | [论文](https://arxiv.org/abs/2203.07814) | | 排行榜 | 访问链接 | | :----------------------------------: | ----------------------------------------------------------------------------------| | 大型代码模型排行榜 | [[来源](https://huggingface.co/spaces/bigcode/bigcode-models-leaderboard)] | | BIRD | [[来源](https://bird-bench.github.io)] | | CanAiCode 排行榜 | [[来源](https://huggingface.co/spaces/mike-ravkine/can-ai-code-results)] | | 编程语言模型排行榜 | [[来源](https://leaderboard.tabbyml.com)] | | CRUXEval 排行榜 | [[来源](https://crux-eval.github.io/leaderboard.html)] | | EvalPlus | [[来源](https://evalplus.github.io/leaderboard.html)] | | HumanEval.jl | [[来源](https://github.com/01-ai/HumanEval.jl)] | | InfiCoder-Eval | [[来源](https://infi-coder.github.io/inficoder-eval)] | | InterCode | [[来源](https://intercode-benchmark.github.io)] | | 程序合成模型排行榜 | [[来源](https://accubits.com/open-source-program-synthesis-models-leaderboard)] | | Spider | [[来源](https://yale-lily.github.io/spider)] |

💡 评估工具包：

bigcode-evaluation-harness：用于评估自回归代码生成语言模型的框架。
code-eval：用于在HumanEval上评估自回归代码生成语言模型的框架。

📚 论文

▶️ 预训练

评估在代码上训练的大型语言模型 预印本

[论文] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan, Henrique Ponde de Oliveira Pinto等人 2021.07
CodeGen：用于多轮程序合成的开放大型代码语言模型 ICLR23

[论文] Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, Caiming Xiong. 2022.03
ERNIE-Code：超越以英语为中心的编程语言跨语言预训练 ACL23 (Findings)

[论文][代码库] Yekun Chai, Shuohuan Wang, Chao Pang, Yu Sun, Hao Tian, and Hua Wu. 2022.12
SantaCoder：不要追求完美！ 预印本

[论文] Loubna Ben Allal, Raymond Li, Denis Kocetkov, Chenghao Mou, Christopher Akiki, Carlos Munoz Ferrandis, Niklas Muennighoff等人 2023.01
CodeGeeX：用于代码生成的预训练模型，在HumanEval-X上进行多语言评估 预印本

[论文] Qinkai Zheng, Xiao Xia, Xu Zou, Yuxiao Dong, Shan Wang, Yufei Xue, Zihan Wang, Lei Shen, Andi Wang, Yang Li, Teng Su, Zhilin Yang, Jie Tang. 2023.03
CodeGen2：训练编程和自然语言大型语言模型的经验教训 ICLR23

[论文] Erik Nijkamp, Hiroaki Hayashi, Caiming Xiong, Silvio Savarese, Yingbo Zhou. 2023.05
StarCoder：愿源代码与你同在！ 预印本

[论文] Raymond Li, Loubna Ben Allal, Yangtian Zi, Niklas Muennighoff, Denis Kocetkov, Chenghao Mou等人 2023.05
CodeT5+：用于代码理解和生成的开放代码大型语言模型 预印本

[论文] Yue Wang, Hung Le, Akhilesh Deepak Gotmare, Nghi D.Q. Bui, Junnan Li, Steven C.H. Hoi. 2023.05
教科书就是你所需要的 预印本

[论文] Suriya Gunasekar, Yi Zhang, Jyoti Aneja, Caio César Teodoro Mendes, Allie Del Giorno, Sivakanth Gopi等人 2023.06
Code Llama：开放代码基础模型 预印本

[论文] Baptiste Rozière, Jonas Gehring, Fabian Gloeckle, Sten Sootla, Itai Gat 等人 2023.08
DeepSeek-Coder：当大语言模型遇上编程 -- 代码智能的崛起 预印本

[论文] 郭大雅, 朱启豪, 杨德建, 谢震达, 董凯, 张文涛, 陈冠廷等人 2024.01
StarCoder 2 和 The Stack v2：新一代 预印本

[论文] Anton Lozhkov, Raymond Li, Loubna Ben Allal, Federico Cassano, Joel Lamy-Poirier, Nouamane Tazi, Ao Tang 等人 2024.02

▶️ 指令微调

Code Alpaca：一个遵循指令的代码生成 LLaMA 模型

[代码库] Sahil Chaudhary 2023
WizardCoder：使用 Evol-Instruct 增强代码大语言模型 预印本

[论文] 罗子阳, 徐灿, 赵普, 孙庆丰, 耿秀波, 胡文翔, 陶崇阳, 马静, 林庆伟, 蒋大昕 2023.07
OctoPack：代码大语言模型的指令微调 预印本

[论文][代码库] Niklas Muennighoff, Qian Liu, Armel Zebaze, Qinkai Zheng, Binyuan Hui, Terry Yue Zhuo, Swayam Singh, Xiangru Tang, Leandro von Werra, Shayne Longpre 2023.08
Magicoder：源代码就是你所需要的全部 预印本

[论文][代码库] 魏宇翔, 王哲, 刘嘉伟, 丁一峰, 张凌明 2023.12

▶️ 基于反馈的对齐

CodeRL：通过预训练模型和深度强化学习掌握代码生成 NeurIPS22

[论文] Hung Le, Yue Wang, Akhilesh Deepak Gotmare, Silvio Savarese, Steven C.H. Hoi 2022.07
使用深度强化学习的执行式代码生成 TMLR23

[论文] Parshin Shojaee, Aneesh Jain, Sindhu Tipirneni, Chandan K. Reddy 2023.01
RLTF：从单元测试反馈中进行强化学习 预印本

[论文] 刘嘉特, 朱益钦, 肖凯文, 付强, 韩啸, 杨伟, 叶德恒 2023.07
PanGu-Coder2：利用排序反馈提升代码大语言模型 预印本

[论文] 沈博, 张嘉欣, 陈泰宏, 昝道广, 耿冰, 傅安, 曾沐涵, 于爱伦, 纪继川, 赵敬阳, 郭悦楠, 王千祥 2023.07

▶️ 提示工程

CodeT：使用生成的测试进行代码生成 ICLR23

[论文] 陈贝, 张凤吉, Anh Nguyen, 昝道广, 林泽琦, 楼建光, 陈伟柱 2022.07
代码审查员重排序用于代码生成 ICML23

[论文] 张天翼, 俞涛, Tatsunori B Hashimoto, Mike Lewis, Wen-tau Yih, Daniel Fried, Sida I Wang 2022.11
LEVER：学习通过执行验证自然语言到代码的生成 ICML23

[论文] 倪安松, Srini Iyer, Dragomir Radev, Ves Stoyanov, Wen-tau Yih, Sida I. Wang, Xi Victoria Lin 2023.02
教大型语言模型自我调试 预印本

[论文] Xinyun Chen, Maxwell Lin, Nathanael Schärli, Denny Zhou. 2023.06

揭秘GPT代码生成的自我修复 预印本

[论文] Theo X. Olausson, Jeevana Priya Inala, Chenglong Wang, Jianfeng Gao, Armando Solar-Lezama. 2023.06

SelfEvolve：基于大型语言模型的代码演化框架 预印本

[论文] Shuyang Jiang, Yuhao Wang, Yu Wang. 2023.06

像人类一样调试：通过逐步验证运行时执行的大型语言模型调试器 ACL24

[论文] Li Zhong, Zilong Wang, Jingbo Shang. 2024.02

▶️ 评估与基准测试

用APPS测量编码挑战能力 NeurIPS21

命名为APPS

[论文][代码库] Dan Hendrycks, Steven Basart, Saurav Kadavath, Mantas Mazeika, Akul Arora, Ethan Guo, Collin Burns, Samir Puranik, Horace He, Dawn Song, Jacob Steinhardt. 2021.05

使用大型语言模型进行程序合成 预印本

命名为MBPP

[论文] Jacob Austin, Augustus Odena, Maxwell Nye, Maarten Bosma, Henryk Michalewski, David Dohan, Ellen Jiang, Carrie Cai, Michael Terry, Quoc Le, Charles Sutton. 2021.08

DS-1000：自然可靠的数据科学代码生成基准 ICML23

[论文] Yuhang Lai, Chengxi Li, Yiming Wang, Tianyi Zhang, Ruiqi Zhong, Luke Zettlemoyer, Scott Wen-tau Yih, Daniel Fried, Sida Wang, Tao Yu. 2022.11

RepoBench：对仓库级代码自动补全系统进行基准测试 预印本

[论文] Tianyang Liu, Canwen Xu, Julian McAuley. 2023.06

ChatGPT能否取代StackOverflow？大型语言模型代码生成的稳健性和可靠性研究 预印本

[论文] Li Zhong, Zilong Wang. 2023.08

RepoCoder：通过迭代检索和生成实现仓库级代码补全 EMNLP23

[论文] Fengji Zhang, Bei Chen, Yue Zhang, Jacky Keung, Jin Liu, Daoguang Zan, Yi Mao, Jian-Guang Lou, Weizhu Chen. 2023.10

CrossCodeEval：多样化多语言的跨文件代码补全基准 Neurips23

[论文] Yangruibo Ding, Zijian Wang, Wasi Uddin Ahmad, Hantian Ding, Ming Tan, Nihal Jain, Murali Krishna Ramanathan. et al. 2023.11

SWE-bench：语言模型能解决真实世界的GitHub问题吗？ ICLR24

[论文] Carlos E. Jimenez, John Yang, Alexander Wettig, Shunyu Yao, Kexin Pei, Ofir Press, Karthik Narasimhan. 2023.10

DevBench：全面的软件开发基准 预印本

[论文][代码库] Bowen Li, Wenhan Wu, Ziwei Tang, Lin Shi, John Yang, Jinyang Li, Shunyu Yao, Chen Qian, Binyuan Hui, Qicheng Zhang, Zhiyin Yu, He Du, Ping Yang, Dahua Lin, Chao Peng, Kai Chen 2024.3

LongCoder：用于代码补全的长程预训练语言模型 ICML23

[论文] Daya Guo, Canwen Xu, Nan Duan, Jian Yin, Julian McAuley. 2023.10

Coeditor：利用上下文变化进行多轮代码自动编辑 预印本 [论文] Jiayi Wei, Greg Durrett, Isil Dillig. 2023年5月
通过大规模预训练实现代码审查活动自动化 预印本

[论文] Zhiyu Li, Shuai Lu, Daya Guo, Nan Duan, Shailesh Jannu, Grant Jenks, Deep Majumder, Jared Green, Alexey Svyatkovskiy, Shengyu Fu, Neel Sundaresan. 2022年10月
BioCoder: 使用大型语言模型进行生物信息学代码生成的基准测试 ISMB 2024

[论文] Xiangru Tang, Bill Qian, Rick Gao, Jiakang Chen, Xinyun Chen, Mark Gerstein. 2023年8月

▶️ 在编码过程中使用大型语言模型

Awesome-DevAI: 关于在开发软件时使用大型语言模型的资源列表 Awesome

[仓库] Ty Dunn, Nate Sesti. 2023年10月

🙌 贡献者

这是一个活跃的仓库，欢迎您随时做出贡献！如果您对这个精选列表有任何疑问，请随时联系我 huybery@gmail.com。

引用

@software{awesome-code-llm,
  author = {Binyuan Hui},
  title = {An awesome and curated list of best code-LLM for research},
  howpublished = {\url{https://github.com/huybery/Awesome-Code-LLM}},
  year = 2023,
}