codet5p-110m-embedding

CodeT5+项目介绍

CodeT5+是一个新的开源代码大型语言模型家族，由Salesforce公司开发。该项目旨在支持广泛的代码理解和生成任务，具有灵活的架构和强大的功能。

模型架构

CodeT5+采用了编码器-解码器架构，可以灵活地以不同模式运行:

• 仅编码器模式
• 仅解码器模式
• 编码器-解码器模式

这种灵活的架构设计使其能够适应各种代码相关任务的需求。

预训练方法

与原始CodeT5相比，CodeT5+在预训练阶段采用了更加多样化的任务组合:

1. 跨度去噪
2. 因果语言建模
3. 对比学习
4. 文本-代码匹配

这些预训练任务帮助模型从单模态代码数据和双模态代码-文本数据中学习丰富的表示。

模型规模

CodeT5+提供了多个规模的模型:

• 110M参数(本仓库模型)
• 220M参数
• 770M参数
• 2B参数
• 6B参数
• 16B参数

通过一种简单有效的计算高效预训练方法，CodeT5+能够高效地扩展到更大规模。

嵌入模型

本仓库提供的是CodeT5+ 110M嵌入模型，它由CodeT5+ 220M模型的编码器和一个投影层组成。该模型可以提取256维的代码嵌入向量，便于下游任务使用。

使用方法

使用该模型非常简单，只需几行代码即可加载模型并生成代码嵌入:

from transformers import AutoModel, AutoTokenizer

checkpoint = "Salesforce/codet5p-110m-embedding"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModel.from_pretrained(checkpoint)

inputs = tokenizer.encode("def print_hello_world():\tprint('Hello World!')", return_tensors="pt")
embedding = model(inputs)[0]

预训练数据

CodeT5+使用了github-code数据集的一个子集进行预训练，包括9种主流编程语言:C、C++、C#、Go、Java、JavaScript、PHP、Python和Ruby。所有代码都经过筛选，只保留了使用宽松许可证的代码。

评估结果

在CodeXGLUE的6个代码检索任务上进行零样本评估，CodeT5+ 110M嵌入模型取得了74.23的总体得分，展现了良好的性能。

总的来说，CodeT5+是一个功能强大、使用灵活的代码语言模型，为代码理解和生成任务提供了新的解决方案。无论是研究人员还是开发者，都可以方便地使用这个模型来支持各种代码相关的应用。