codet5p-110m-embedding

CodeT5+项目介绍

CodeT5+是一个新的开源代码大型语言模型家族，由Salesforce公司开发。该项目旨在支持广泛的代码理解和生成任务，具有灵活的架构和强大的功能。

模型架构

CodeT5+采用了编码器-解码器架构，可以灵活地以不同模式运行:

仅编码器模式
仅解码器模式
编码器-解码器模式

这种灵活的架构设计使其能够适应各种代码相关任务的需求。

预训练方法

与原始CodeT5相比，CodeT5+在预训练阶段采用了更加多样化的任务组合:

跨度去噪
因果语言建模
对比学习
文本-代码匹配

这些预训练任务帮助模型从单模态代码数据和双模态代码-文本数据中学习丰富的表示。

模型规模

CodeT5+提供了多个规模的模型:

110M参数(本仓库模型)
220M参数
770M参数
2B参数
6B参数
16B参数

通过一种简单有效的计算高效预训练方法，CodeT5+能够高效地扩展到更大规模。

嵌入模型

本仓库提供的是CodeT5+ 110M嵌入模型，它由CodeT5+ 220M模型的编码器和一个投影层组成。该模型可以提取256维的代码嵌入向量，便于下游任务使用。

使用方法

使用该模型非常简单，只需几行代码即可加载模型并生成代码嵌入:

from transformers import AutoModel, AutoTokenizer

checkpoint = "Salesforce/codet5p-110m-embedding"
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
model = AutoModel.from_pretrained(checkpoint)

inputs = tokenizer.encode("def print_hello_world():\tprint('Hello World!')", return_tensors="pt")
embedding = model(inputs)[0]