<img src="https://yellow-cdn.veclightyear.com/2b54e442/0b2a8c29-e48b-448f-b927-b37825e107ba.png"> 🏠 <a href="https://codegeex.cn" target="_blank">主页</a> | 📖 <a href="https://models.aminer.cn/codegeex/blog/" target="_blank">博客</a> | 🪧 <a href="https://models.aminer.cn/codegeex/playground" target="_blank">演示</a> | 🤖 <a href="https://codegeex.cn/download/request" target="_blank">下载模型</a> | 📄 <a href="https://arxiv.org/abs/2303.17568" target="_blank">论文</a> | 🌐 <a href="README_zh.md" target="_blank">中文</a> 🛠 支持 <a href="https://marketplace.visualstudio.com/items?itemName=aminer.codegeex" target="_blank">VS Code</a>、<a href="https://plugins.jetbrains.com/plugin/20587-codegeex" target="_blank">Jetbrains</a>、<a href="https://plugins.jetbrains.com/plugin/20587-codegeex" target="_blank">Cloud Studio</a> | 👋 加入我们的 <a href="https://discord.gg/8gjHdkmAN6" target="_blank">Discord</a>、<a href="https://join.slack.com/t/codegeexworkspace/shared_invite/zt-1s118ffrp-mpKKhQD0tKBmzNZVCyEZLw" target="_blank">Slack</a>、<a href="https://t.me/+IipIayJ32B1jOTg1" target="_blank">Telegram</a>、<a href="resources/zh/wechat.md"target="_blank">微信</a>

🌟 最新一代 CodeGeeX4 模型已经正式开源。

CodeGeeX：多语言代码生成模型

CodeGeeX：多语言代码生成模型

我们介绍CodeGeeX，这是一个拥有130亿参数的大规模多语言代码生成模型，在包含20多种编程语言的大型代码语料库上进行了预训练。截至2022年6月22日，CodeGeeX已经在由1,536个昇腾910 AI处理器组成的集群上训练了超过8500亿个标记。CodeGeeX具有以下几个独特特征：

多语言代码生成：CodeGeeX在生成几种主流编程语言的可执行程序方面表现出色，包括Python、C++、Java、JavaScript、Go等。演示
跨语言代码翻译：CodeGeeX支持不同语言之间的代码片段翻译。只需一次点击，CodeGeeX就可以以高精度将程序转换为任何预期的语言。演示
可定制的编程助手：CodeGeeX在VS Code扩展市场上免费提供。它支持代码补全、解释、总结等功能，为用户提供更好的编码体验。VS Code扩展
开源和跨平台：所有代码和模型权重都公开可用于研究目的。CodeGeeX支持昇腾和NVIDIA平台。它支持在单个昇腾910、NVIDIA V100或A100上进行推理。申请模型权重

HumanEval-X用于真实多语言基准测试。 为了帮助标准化多语言代码生成和翻译的评估，我们开发并发布了HumanEval-X基准。HumanEval-X是一个新的多语言基准，包含820个人工编写的编码问题，涉及5种编程语言（Python、C++、Java、JavaScript和Go），每个问题都有相关的测试和解决方案。使用方法 🤗 在HuggingFace上可用

<img src="https://yellow-cdn.veclightyear.com/2b54e442/bcecf6d0-95e9-425b-94e8-86ed7c0c50ab.png"> 与其他开源多语言基线相比，CodeGeeX在平均性能上达到了最高水平。

新闻

🌟 2023-07-24：CodeGeeX2 已经发布，更强大、更快速、更轻量。支持100+种语言和许多新功能。
2023-5-16：CodeGeeX论文已被KDD 2023，长滩接受，将在会议期间进行展示。
2023-03-30：CodeGeeX论文现已在arxiv上发布。
2023-02-14：CodeGeeX现在支持Cloud Studio，这是腾讯的一款出色的Web IDE。点击此页面顶部的徽章，快速启动环境来测试CodeGeeX。
2023-02-13：非常感谢OneFlow团队为CodeGeeX的推理添加oneflow后端（在FP16下甚至比FasterTransformer更快！）。查看更多详情这里。
2023-02：我们正在举办CodeGeeX "用AI编程" 黑客马拉松，基于CodeGeeX设计酷炫的应用并赢取奖品（RTX 4090、大疆无人机等）！
2022-12-31：我们在codegeex-fastertransformer中发布了CodeGeeX的FasterTransformer版本。INT8加速版本达到了平均<15ms/token的速度。祝大家新年快乐！
2022-12-13：我们在codegeex-vscode-extension中发布了CodeGeeX VS Code扩展的源代码。按照快速入门开始开发。
2022-12-11：CodeGeeX现在可用于Jetbrains IDEs（IntelliJ IDEA、PyCharm、GoLand、CLion等），在这里下载。
2022-12-04：我们发布了量化（需要更少的GPU RAM：27GB -> 15GB）和模型并行（可以在多个RAM<8G的GPU上运行）的源代码。
2022-09-30：我们发布了适用于昇腾和NVIDIA平台的跨平台源代码和模型权重。

入门指南

CodeGeeX最初是在Mindspore中实现并在昇腾910 AI处理器上训练的。我们提供了一个基于Megatron-LM的与torch兼容的版本，以便于在GPU平台上使用。

安装

需要Python 3.7+ / CUDA 11+ / PyTorch 1.10+ / DeepSpeed 0.6+。通过以下方式安装codegeex包：

git clone git@github.com:THUDM/CodeGeeX.git
cd CodeGeeX
pip install -e .

或者使用CodeGeeX docker快速设置环境（需要安装nvidia-docker）：

docker pull codegeex/codegeex:latest
# 要启用GPU支持，使用--device指定设备ID
docker run --gpus '"device=0,1"' -it --ipc=host --name=codegeex codegeex/codegeex

模型权重

通过此链接申请并下载模型权重。您将通过邮件收到urls.txt，其中包含临时下载链接。我们建议您使用aria2通过以下命令下载（请确保您有足够的磁盘空间来下载检查点（约26GB））：

aria2c -x 16 -s 16 -j 4 --continue=true -i urls.txt

运行以下命令获取完整的模型权重：

cat codegeex_13b.tar.gz.* > codegeex_13b.tar.gz
tar xvf codegeex_13b.tar.gz

在GPU上进行推理

尝试用CodeGeeX生成第一个程序。首先，在configs/codegeex_13b.sh中指定模型权重的路径。其次，将提示（自然语言描述或代码片段）写入文件，例如tests/test_prompt.txt，然后运行以下脚本：

# 在单个GPU上（RAM大于27GB）
bash ./scripts/test_inference.sh <GPU_ID> ./tests/test_prompt.txt

# 使用量化（RAM大于15GB）
bash ./scripts/test_inference_quantized.sh <GPU_ID> ./tests/test_prompt.txt

# 在多个GPU上（RAM大于6GB，需要首先将ckpt转换为MP_SIZE分区）
bash ./scripts/convert_ckpt_parallel.sh <LOAD_CKPT_PATH> <SAVE_CKPT_PATH> <MP_SIZE>
bash ./scripts/test_inference_parallel.sh <MP_SIZE> ./tests/test_prompt.txt

VS Code和Jetbrains扩展指南

基于CodeGeeX，我们还开发了VS Code和Jetbrains IDEs的免费扩展，未来还会有更多。

对于VS Code，在市场中搜索"codegeex"或在这里安装。详细说明可以在VS Code扩展指南中找到。对于开发者，我们还在codegeex-vscode-extension中发布了源代码，请按照快速入门开始开发。

对于Jetbrains IDEs，在插件中搜索"codegeex"或在这里安装。确保您的IDE版本是2021.1或更高。CodeGeeX现在支持IntelliJ IDEA、PyCharm、GoLand、CLion、Android Studio、AppCode、Aqua、DataSpell、DataGrip、Rider、RubyMine和WebStorm。

CodeGeeX：架构、代码语料库和实现

架构：CodeGeeX是一个基于transformer的大规模预训练编程语言模型。它是一个从左到右的自回归解码器，接受代码和自然语言作为输入，并预测下一个标记的概率。CodeGeeX包含40个transformer层，自注意力块的隐藏大小为5,120，前馈层的隐藏大小为20,480，使其规模达到130亿参数。它支持最大序列长度为2,048。

<img src="https://yellow-cdn.veclightyear.com/2b54e442/48b07af5-476b-4e31-bfce-775308329333.png"> 左图：CodeGeeX训练数据中编程语言的比例。 右图：CodeGeeX训练步骤与训练损失的关系图。

代码语料库：我们的训练数据包含两部分。第一部分来自开源代码数据集，The Pile和[CodeParrot](https://github.com/huggingface/transformers

HumanEval-X支持的任务示意图。声明、文档字符串和解决方案分别用红色、绿色和蓝色标记。代码生成使用声明和文档字符串作为输入来生成解决方案。代码翻译使用两种语言的声明,将源语言的解决方案翻译成目标语言。

在HumanEval-X中,每种语言的每个样本都包含声明、文档字符串和解决方案,可以通过各种方式组合来支持不同的下游任务,包括生成、翻译、总结等。我们目前专注于两个任务:代码生成和代码翻译。对于代码生成,模型使用声明和文档字符串作为输入来生成解决方案。对于代码翻译,模型使用两种语言的声明和源语言的解决方案作为输入,生成目标语言的解决方案。我们在代码翻译过程中移除了描述,以防止模型直接解决问题。对于这两个任务,我们使用Codex中提出的无偏pass@k指标:$\text{pass}@k:= \mathbb{E}[1-\frac{\tbinom{n-c}{k}}{\tbinom{n}{k}}]$,其中$n=200$且$k\in(1,10,100)$。

多语言代码生成

<img src="https://yellow-cdn.veclightyear.com/2b54e442/6c4e39e8-10aa-4563-9701-ce666250857a.png"> 左图:HumanEval-X中五种语言的代码生成任务的详细pass@k (k=1,10,100)性能。右图:每个模型在所有语言上的平均性能。与InCoder-6.7B、CodeGen-Multi-6B和CodeGen-Multi-16B相比,CodeGeeX实现了最高的平均性能。

我们将CodeGeeX与另外两个开源代码生成模型进行了比较,InCoder(来自Meta)和CodeGen(来自Salesforce)。具体来说,考虑了InCoder-6.7B、CodeGen-Multi-6B和CodeGen-Multi-16B。CodeGeeX显著优于规模较小的模型(提高7.5%~16.3%),并且与规模更大的CodeGen-Multi-16B相当(平均性能54.76%对54.39%)。CodeGeeX在各种语言中实现了最佳的平均性能。

跨语言代码翻译

<img src="https://yellow-cdn.veclightyear.com/2b54e442/979cfd28-90d2-425f-9dd0-bcec17b7ea63.png"> HumanEval-X代码翻译任务的结果。每种语言的最佳性能以粗体显示。

我们还评估了不同编程语言之间的翻译性能。我们测试了CodeGeeX的零样本性能,以及经过微调的CodeGeeX-13B-FT(使用XLCoST中代码翻译任务的训练集进行微调;原始集合中缺少Go,因此我们添加了一个小集合)。结果表明,模型对语言有偏好,例如,CodeGeeX擅长将其他语言翻译成Python和C++,而CodeGen-Multi-16B更擅长翻译成JavaScript和Go;这可能是由于训练语料库中语言分布的差异。在20对翻译中,我们还观察到A到B和B到A的性能总是负相关,这可能表明当前的模型仍然无法很好地学习所有语言。

如何使用HumanEval-X并为其做出贡献?

有关如何使用HumanEval-X的更多详细信息,请参阅使用说明。我们非常欢迎社区通过添加更多问题或扩展到其他语言来为HumanEval-X做出贡献,请查看HumanEval-X的标准格式并添加拉取请求。

如果您有任何意见或建议,请通过codegeex@aminer.cn告诉我们。

<details> <summary>生成示例</summary> <img src="https://yellow-cdn.veclightyear.com/2b54e442/e5bab0d1-835e-4046-aab5-b9ffaeeaca06.png"> </details> <details> <summary>致谢</summary> 本项目得到国家杰出青年科学基金(No. 61825602)的支持。

主要贡献者

郑钦凯(清华KEG)、夏晓(清华KEG)、邹旭(清华KEG)

贡献者

清华KEG---清华知识工程组:曾奥涵、郑文迪、薛立龙

清华IIIS杨植麟组:刘一峰、陈燕如、徐一宸(北邮,访问清华期间完成工作)

鹏城实验室:陈庆宇、李中奇、范高俊

智谱.AI:薛宇飞、王珊、单杰才、江浩翰、刘路、薛轩、张鹏

昇腾和MindSpore团队:姚逸凡、苏腾、邓启晖、周斌

数据标注

程瑞洁(清华)、余佩楠(清华)、张静瑶(智谱.AI)、黄博文(智谱.AI)、王少宇(智谱.AI)

顾问

杨植麟(清华IIIS)、董宇晓(清华KEG)、陈文光(清华PACMAN)、唐杰(清华KEG)

计算赞助商

鹏城实验室

智谱.AI---一家旨在教机器像人类一样思考的AI创业公司

项目负责人

唐杰(清华KEG & BAAI)

</details>

许可证

我们的代码采用Apache-2.0许可证授权。我们的模型采用许可证授权。

引用

如果您发现我们的工作有用,请引用:

@inproceedings{zheng2023codegeex,
  title={CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X},
  author={Qinkai Zheng and Xiao Xia and Xu Zou and Yuxiao Dong and Shan Wang and Yufei Xue and Zihan Wang and Lei Shen and Andi Wang and Yang Li and Teng Su and Zhilin Yang and Jie Tang},
  booktitle={Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining},
  pages={5673--5684},
  year={2023}
}