codegemma-7b-it

项目介绍：CodeGemma-7B-IT

项目概述

CodeGemma-7B-IT是谷歌推出的一款开源代码生成模型。这一系列模型被设计为轻量级的文本到文本和文本到代码解码模型，特别适合代码补全和代码生成任务。CodeGemma系列中的“7B-IT”变体专注于代码对话和指令跟随，是一款具有7亿参数的指令调优变体。

功能特点

CodeGemma-7B-IT作为一个多功能模型，具有以下核心功能：

自然语言生成代码：可以将自然语言转换为对应的代码片段，以便于开发者使用。
代码对话功能：提供与用户进行代码和技术问题讨论的能力。
指令跟随：能够遵循自然语言指令生成合适的代码。

适用场景

该模型适用于回答关于代码片段的问题、从自然语言生成代码以及在技术问题上与用户进行互动交流。例如，用户可以利用它来编写Python函数，计算斐波那契数列的某个项等。对于需要集成到集成开发环境（IDE）的代码补全，我们推荐使用高效的预训练模型如CodeGemma 7B或CodeGemma 2B。

技术实现

代码生成示例

使用Python库transformers，可以在Python程序中简单调用此功能：

from transformers import GemmaTokenizer, AutoModelForCausalLM

tokenizer = GemmaTokenizer.from_pretrained("google/codegemma-7b-it")
model = AutoModelForCausalLM.from_pretrained("google/codegemma-7b-it")

input_text = "Write me a Python function to calculate the nth fibonacci number."
input_ids = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**input_ids)
print(tokenizer.decode(outputs[0]))

聊天模版

此模型的指令调优版本遵循特定的聊天模版进行对话，允许用户在对话中更自然地进行代码讨论。通过transformers库中的聊天模版，可以方便地生成合适的对话格式。

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model_id = "google/codegemma-7b-it"
dtype = torch.bfloat16

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    device_map="cuda",
    torch_dtype=dtype,
)

chat = [
    { "role": "user", "content": "Write a hello world program" },
]

prompt = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)

模型数据

CodeGemma-7B-IT基于Google的Gemma模型，运用了大量公开可用的代码库、数学数据集以及合成生成代码，共计5000亿个主要为英语的数据进行进一步训练。数据预处理过程中采用了“辅助填充那些中间（FIM）”技术，并进行了依赖图打包和单元测试的词汇打包等处理，以便更好地适应实际应用场景。