CodeGeeX

CodeGeeX

强大的多语言代码生成与翻译模型

CodeGeeX是一个拥有130亿参数的大规模多语言代码生成模型。该模型可生成Python、C++、Java等主流编程语言的可执行代码,并支持跨语言代码翻译。CodeGeeX提供免费的VS Code和Jetbrains IDE扩展,在HumanEval-X多语言基准测试中表现优异。项目完全开源,同时支持Ascend和NVIDIA平台,为开发者提供高效的代码生成工具。

CodeGeeX代码生成多语言人工智能编程助手Github开源项目
<img src="https://yellow-cdn.veclightyear.com/2b54e442/0b2a8c29-e48b-448f-b927-b37825e107ba.png"> <p align="center"> 🏠 <a href="https://codegeex.cn" target="_blank">主页</a> | 📖 <a href="https://models.aminer.cn/codegeex/blog/" target="_blank">博客</a> | 🪧 <a href="https://models.aminer.cn/codegeex/playground" target="_blank">演示</a> | 🤖 <a href="https://codegeex.cn/download/request" target="_blank">下载模型</a> | 📄 <a href="https://arxiv.org/abs/2303.17568" target="_blank">论文</a> | 🌐 <a href="README_zh.md" target="_blank">中文</a> </p> <p align="center"> 🛠 支持 <a href="https://marketplace.visualstudio.com/items?itemName=aminer.codegeex" target="_blank">VS Code</a>、<a href="https://plugins.jetbrains.com/plugin/20587-codegeex" target="_blank">Jetbrains</a>、<a href="https://plugins.jetbrains.com/plugin/20587-codegeex" target="_blank">Cloud Studio</a> | 👋 加入我们的 <a href="https://discord.gg/8gjHdkmAN6" target="_blank">Discord</a>、<a href="https://join.slack.com/t/codegeexworkspace/shared_invite/zt-1s118ffrp-mpKKhQD0tKBmzNZVCyEZLw" target="_blank">Slack</a>、<a href="https://t.me/+IipIayJ32B1jOTg1" target="_blank">Telegram</a>、<a href="resources/zh/wechat.md"target="_blank">微信</a> </p>

🌟 最新一代 CodeGeeX4 模型已经正式开源。

CodeGeeX:多语言代码生成模型

我们介绍CodeGeeX,这是一个拥有130亿参数的大规模多语言代码生成模型,在包含20多种编程语言的大型代码语料库上进行了预训练。截至2022年6月22日,CodeGeeX已经在由1,536个昇腾910 AI处理器组成的集群上训练了超过8500亿个标记。CodeGeeX具有以下几个独特特征:

  • 多语言代码生成:CodeGeeX在生成几种主流编程语言的可执行程序方面表现出色,包括Python、C++、Java、JavaScript、Go等。演示
  • 跨语言代码翻译:CodeGeeX支持不同语言之间的代码片段翻译。只需一次点击,CodeGeeX就可以以高精度将程序转换为任何预期的语言。演示
  • 可定制的编程助手:CodeGeeX在VS Code扩展市场上免费提供。它支持代码补全、解释、总结等功能,为用户提供更好的编码体验。VS Code扩展
  • 开源和跨平台:所有代码和模型权重都公开可用于研究目的。CodeGeeX支持昇腾和NVIDIA平台。它支持在单个昇腾910、NVIDIA V100或A100上进行推理。申请模型权重

HumanEval-X用于真实多语言基准测试。 为了帮助标准化多语言代码生成和翻译的评估,我们开发并发布了HumanEval-X基准。HumanEval-X是一个新的多语言基准,包含820个人工编写的编码问题,涉及5种编程语言(Python、C++、Java、JavaScript和Go),每个问题都有相关的测试和解决方案。使用方法 🤗 在HuggingFace上可用

<img src="https://yellow-cdn.veclightyear.com/2b54e442/bcecf6d0-95e9-425b-94e8-86ed7c0c50ab.png"> <p align="center"><i>与其他开源多语言基线相比,CodeGeeX在平均性能上达到了最高水平。</i> </p>

新闻

  • 🌟 2023-07-24CodeGeeX2 已经发布,更强大、更快速、更轻量。支持100+种语言和许多新功能。

  • 2023-5-16:CodeGeeX论文已被KDD 2023,长滩接受,将在会议期间进行展示。

  • 2023-03-30:CodeGeeX论文现已在arxiv上发布。

  • 2023-02-14:CodeGeeX现在支持Cloud Studio,这是腾讯的一款出色的Web IDE。点击此页面顶部的徽章,快速启动环境来测试CodeGeeX。

  • 2023-02-13:非常感谢OneFlow团队为CodeGeeX的推理添加oneflow后端(在FP16下甚至比FasterTransformer更快!)。查看更多详情这里

  • 2023-02:我们正在举办CodeGeeX "用AI编程" 黑客马拉松,基于CodeGeeX设计酷炫的应用并赢取奖品(RTX 4090、大疆无人机等)!

  • 2022-12-31:我们在codegeex-fastertransformer中发布了CodeGeeX的FasterTransformer版本。INT8加速版本达到了平均<15ms/token的速度。祝大家新年快乐!

  • 2022-12-13:我们在codegeex-vscode-extension中发布了CodeGeeX VS Code扩展的源代码。按照快速入门开始开发。

  • 2022-12-11:CodeGeeX现在可用于Jetbrains IDEs(IntelliJ IDEA、PyCharm、GoLand、CLion等),在这里下载。

  • 2022-12-04:我们发布了量化(需要更少的GPU RAM:27GB -> 15GB)和模型并行(可以在多个RAM<8G的GPU上运行)的源代码。

  • 2022-09-30:我们发布了适用于昇腾和NVIDIA平台的跨平台源代码和模型权重。

入门指南

CodeGeeX最初是在Mindspore中实现并在昇腾910 AI处理器上训练的。我们提供了一个基于Megatron-LM的与torch兼容的版本,以便于在GPU平台上使用。

安装

需要Python 3.7+ / CUDA 11+ / PyTorch 1.10+ / DeepSpeed 0.6+。通过以下方式安装codegeex包:

git clone git@github.com:THUDM/CodeGeeX.git cd CodeGeeX pip install -e .

或者使用CodeGeeX docker快速设置环境(需要安装nvidia-docker):

docker pull codegeex/codegeex:latest # 要启用GPU支持,使用--device指定设备ID docker run --gpus '"device=0,1"' -it --ipc=host --name=codegeex codegeex/codegeex

模型权重

通过此链接申请并下载模型权重。您将通过邮件收到urls.txt,其中包含临时下载链接。我们建议您使用aria2通过以下命令下载(请确保您有足够的磁盘空间来下载检查点(约26GB)):

aria2c -x 16 -s 16 -j 4 --continue=true -i urls.txt

运行以下命令获取完整的模型权重:

cat codegeex_13b.tar.gz.* > codegeex_13b.tar.gz tar xvf codegeex_13b.tar.gz

在GPU上进行推理

尝试用CodeGeeX生成第一个程序。首先,在configs/codegeex_13b.sh中指定模型权重的路径。其次,将提示(自然语言描述或代码片段)写入文件,例如tests/test_prompt.txt,然后运行以下脚本:

# 在单个GPU上(RAM大于27GB) bash ./scripts/test_inference.sh <GPU_ID> ./tests/test_prompt.txt # 使用量化(RAM大于15GB) bash ./scripts/test_inference_quantized.sh <GPU_ID> ./tests/test_prompt.txt # 在多个GPU上(RAM大于6GB,需要首先将ckpt转换为MP_SIZE分区) bash ./scripts/convert_ckpt_parallel.sh <LOAD_CKPT_PATH> <SAVE_CKPT_PATH> <MP_SIZE> bash ./scripts/test_inference_parallel.sh <MP_SIZE> ./tests/test_prompt.txt

VS Code和Jetbrains扩展指南

基于CodeGeeX,我们还开发了VS Code和Jetbrains IDEs的免费扩展,未来还会有更多。

对于VS Code,在市场中搜索"codegeex"或在这里安装。详细说明可以在VS Code扩展指南中找到。对于开发者,我们还在codegeex-vscode-extension中发布了源代码,请按照快速入门开始开发。

对于Jetbrains IDEs,在插件中搜索"codegeex"或在这里安装。 确保您的IDE版本是2021.1或更高。CodeGeeX现在支持IntelliJ IDEA、PyCharm、GoLand、CLion、Android Studio、AppCode、Aqua、DataSpell、DataGrip、Rider、RubyMine和WebStorm。

CodeGeeX:架构、代码语料库和实现

架构:CodeGeeX是一个基于transformer的大规模预训练编程语言模型。它是一个从左到右的自回归解码器,接受代码和自然语言作为输入,并预测下一个标记的概率。CodeGeeX包含40个transformer层,自注意力块的隐藏大小为5,120,前馈层的隐藏大小为20,480,使其规模达到130亿参数。它支持最大序列长度为2,048。

<img src="https://yellow-cdn.veclightyear.com/2b54e442/48b07af5-476b-4e31-bfce-775308329333.png"> <p align="center"><i><b>左图:</b>CodeGeeX训练数据中编程语言的比例。 <b>右图:</b>CodeGeeX训练步骤与训练损失的关系图。</i></p>

代码语料库:我们的训练数据包含两部分。第一部分来自开源代码数据集,The Pile和[CodeParrot](https://github.com/huggingface/transformers

<p align="center"><i><b>HumanEval-X</b>支持的任务示意图。声明、文档字符串和解决方案分别用红色、绿色和蓝色标记。<b>代码生成</b>使用声明和文档字符串作为输入来生成解决方案。<b>代码翻译</b>使用两种语言的声明,将源语言的解决方案翻译成目标语言。</i></p>

在HumanEval-X中,每种语言的每个样本都包含声明、文档字符串和解决方案,可以通过各种方式组合来支持不同的下游任务,包括生成、翻译、总结等。我们目前专注于两个任务:代码生成代码翻译。对于代码生成,模型使用声明和文档字符串作为输入来生成解决方案。对于代码翻译,模型使用两种语言的声明和源语言的解决方案作为输入,生成目标语言的解决方案。我们在代码翻译过程中移除了描述,以防止模型直接解决问题。对于这两个任务,我们使用Codex中提出的无偏pass@k指标:$\text{pass}@k:= \mathbb{E}[1-\frac{\tbinom{n-c}{k}}{\tbinom{n}{k}}]$,其中$n=200$且$k\in(1,10,100)$。

多语言代码生成

<img src="https://yellow-cdn.veclightyear.com/2b54e442/6c4e39e8-10aa-4563-9701-ce666250857a.png"> <p align="center"><i><b>左图</b>:HumanEval-X中五种语言的代码生成任务的详细pass@k (k=1,10,100)性能。<b>右图</b>:每个模型在所有语言上的平均性能。与InCoder-6.7B、CodeGen-Multi-6B和CodeGen-Multi-16B相比,CodeGeeX实现了最高的平均性能。</i></p>

我们将CodeGeeX与另外两个开源代码生成模型进行了比较,InCoder(来自Meta)和CodeGen(来自Salesforce)。具体来说,考虑了InCoder-6.7B、CodeGen-Multi-6B和CodeGen-Multi-16B。CodeGeeX显著优于规模较小的模型(提高7.5%~16.3%),并且与规模更大的CodeGen-Multi-16B相当(平均性能54.76%对54.39%)。CodeGeeX在各种语言中实现了最佳的平均性能。

跨语言代码翻译

<img src="https://yellow-cdn.veclightyear.com/2b54e442/979cfd28-90d2-425f-9dd0-bcec17b7ea63.png"> <p align="center"><i>HumanEval-X<b>代码翻译</b>任务的结果。每种语言的最佳性能以<b>粗体</b>显示。</i></p>

我们还评估了不同编程语言之间的翻译性能。我们测试了CodeGeeX的零样本性能,以及经过微调的CodeGeeX-13B-FT(使用XLCoST中代码翻译任务的训练集进行微调;原始集合中缺少Go,因此我们添加了一个小集合)。结果表明,模型对语言有偏好,例如,CodeGeeX擅长将其他语言翻译成Python和C++,而CodeGen-Multi-16B更擅长翻译成JavaScript和Go;这可能是由于训练语料库中语言分布的差异。在20对翻译中,我们还观察到A到B和B到A的性能总是负相关,这可能表明当前的模型仍然无法很好地学习所有语言。

如何使用HumanEval-X并为其做出贡献?

有关如何使用HumanEval-X的更多详细信息,请参阅使用说明。我们非常欢迎社区通过添加更多问题或扩展到其他语言来为HumanEval-X做出贡献,请查看HumanEval-X的标准格式并添加拉取请求。

如果您有任何意见或建议,请通过codegeex@aminer.cn告诉我们。

<details> <summary><b>生成示例</b></summary> <img src="https://yellow-cdn.veclightyear.com/2b54e442/e5bab0d1-835e-4046-aab5-b9ffaeeaca06.png"> </details> <details> <summary><b>致谢</b></summary> <br/> 本项目得到国家杰出青年科学基金(No. 61825602)的支持。

主要贡献者

郑钦凯(清华KEG)、夏晓(清华KEG)、邹旭(清华KEG)

贡献者

清华KEG---清华知识工程组:曾奥涵、郑文迪、薛立龙

清华IIIS杨植麟组:刘一峰、陈燕如、徐一宸(北邮,访问清华期间完成工作)

鹏城实验室:陈庆宇、李中奇、范高俊

智谱.AI:薛宇飞、王珊、单杰才、江浩翰、刘路、薛轩、张鹏

昇腾和MindSpore团队:姚逸凡、苏腾、邓启晖、周斌

数据标注

程瑞洁(清华)、余佩楠(清华)、张静瑶(智谱.AI)、黄博文(智谱.AI)、王少宇(智谱.AI)

顾问

杨植麟(清华IIIS)、董宇晓(清华KEG)、陈文光(清华PACMAN)、唐杰(清华KEG)

计算赞助商

鹏城实验室

智谱.AI---一家旨在教机器像人类一样思考的AI创业公司

项目负责人

唐杰(清华KEG & BAAI)

</details>

许可证

我们的代码采用Apache-2.0许可证授权。 我们的模型采用许可证授权。

引用

如果您发现我们的工作有用,请引用:

@inproceedings{zheng2023codegeex,
  title={CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X},
  author={Qinkai Zheng and Xiao Xia and Xu Zou and Yuxiao Dong and Shan Wang and Yufei Xue and Zihan Wang and Lei Shen and Andi Wang and Yang Li and Teng Su and Zhilin Yang and Jie Tang},
  booktitle={Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining},
  pages={5673--5684},
  year={2023}
}

编辑推荐精选

OpenManus

OpenManus

一个具备多种工具和代理功能,可用于解决复杂任务规划、网络搜索、浏览器操作等的项目。

OpenManus 是一个功能强大的开源项目,提供了丰富的工具和代理机制。包含规划工具、多种搜索引擎、浏览器操作工具等,能帮助开发者高效解决复杂任务的规划、网络信息搜索以及浏览器自动化操作等问题。支持多种语言,拥有清晰的文档和代码结构,易于集成和扩展,适用于各类需要自动化任务处理的场景。

MarkItDown

MarkItDown

一个支持多种格式转换的工具库

MarkItDown 是一个强大的 Python 工具库,专注于文档格式转换。它能够处理多种类型的文件,如 HTML、Wikipedia 页面以及 Bing 搜索结果页等,将其转换为 Markdown 格式。该项目支持插件扩展,提供了清晰的接口和丰富的功能,为开发者和文档处理人员提供了便捷、高效的文档转换解决方案,能有效提升文档处理效率,是文档转换领域的优秀选择。

Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
OmniParser

OmniParser

帮助AI理解电脑屏幕 纯视觉GUI元素的自动化解析方案

开源工具通过计算机视觉技术实现图形界面元素的智能识别与结构化处理,支持自动化测试脚本生成和辅助功能开发。项目采用模块化设计,提供API接口与多种输出格式,适用于跨平台应用场景。核心算法优化了元素定位精度,在动态界面和复杂布局场景下保持稳定解析能力。

OmniParser界面解析交互区域检测Github开源项目
Grok3

Grok3

埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型

Grok3 是由埃隆·马斯克旗下的人工智能公司 xAI 推出的第三代大规模语言模型,常被马斯克称为“地球上最聪明的 AI”。它不仅是在前代产品 Grok 1 和 Grok 2 基础上的一次飞跃,还在多个关键技术上实现了创新突破。

腾讯元宝

腾讯元宝

腾讯自研的混元大模型AI助手

腾讯元宝是腾讯基于自研的混元大模型推出的一款多功能AI应用,旨在通过人工智能技术提升用户在写作、绘画、翻译、编程、搜索、阅读总结等多个领域的工作与生活效率。

AI助手AI对话AI工具腾讯元宝智能体热门 AI 办公助手
Windsurf Wave 3

Windsurf Wave 3

Windsurf Editor推出第三次重大更新Wave 3

新增模型上下文协议支持与智能编辑功能。本次更新包含五项核心改进:支持接入MCP协议扩展工具生态,Tab键智能跳转提升编码效率,Turbo模式实现自动化终端操作,图片拖拽功能优化多模态交互,以及面向付费用户的个性化图标定制。系统同步集成DeepSeek、Gemini等新模型,并通过信用点数机制实现差异化的资源调配。

AI IDE
Cursor

Cursor

增强编程效率的AI代码编辑器

Cursor作为AI驱动的代码编辑工具,助力开发者效率大幅度提升。该工具简化了扩展、主题和键位配置的导入,可靠的隐私保护措施保证代码安全,深受全球开发者信赖。此外,Cursor持续推出更新,不断优化功能和用户体验。

AI开发辅助编程AI工具CursorAI代码编辑器
Manus

Manus

全面超越基准的 AI Agent助手

Manus 是一款通用人工智能代理平台,能够将您的创意和想法迅速转化为实际成果。无论是定制旅行规划、深入的数据分析,还是教育支持与商业决策,Manus 都能高效整合信息,提供精准解决方案。它以直观的交互体验和领先的技术,为用户开启了一个智慧驱动、轻松高效的新时代,让每个灵感都能得到完美落地。

飞书知识问答

飞书知识问答

飞书官方推出的AI知识库 上传word pdf即可部署AI私有知识库

基于DeepSeek R1大模型构建的知识管理系统,支持PDF、Word、PPT等常见文档格式解析,实现云端与本地数据的双向同步。系统具备实时网络检索能力,可自动关联外部信息源,通过语义理解技术处理结构化与非结构化数据。免费版本提供基础知识库搭建功能,适用于企业文档管理和个人学习资料整理场景。

下拉加载更多