granite-3b-code-instruct-2k

Granite-3B-Code-Instruct-2K项目介绍

项目简介

Granite-3B-Code-Instruct-2K是一款由IBM研究团队开发的、拥有30亿参数的模型，旨在通过可许可的指令数据增强模型的指令跟随能力，包括逻辑推理和问题解决能力。该模型是从Granite-3B-Code-Base-2K基础模型上进行微调，专注于编码相关指令的响应。

开发者： IBM研究团队
GitHub仓库： ibm-granite/granite-code-models
论文： Granite Code Models: A Family of Open Foundation Models for Code Intelligence
发布日期： 2024年5月6日
许可证： Apache 2.0

项目用途

Granite-3B-Code-Instruct-2K被设计用于响应与编码相关的指令，可用于构建代码助手工具。它能生成代码，是一个强大的编码助手。

使用方法

这是一个简单的使用Granite-3B-Code-Instruct-2K模型的示例：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
device = "cuda" # 或 "cpu"
model_path = "ibm-granite/granite-3b-code-instruct-2k"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, device_map=device)
model.eval()

chat = [
    { "role": "user", "content": "Write a code to find the maximum value in a list of numbers." },
]
chat = tokenizer.apply_chat_template(chat, tokenize=False, add_generation_prompt=True)
input_tokens = tokenizer(chat, return_tensors="pt")

for i in input_tokens:
    input_tokens[i] = input_tokens[i].to(device)
output = model.generate(**input_tokens, max_new_tokens=100)
output = tokenizer.batch_decode(output)
for i in output:
    print(i)

训练数据

Granite-3B-Code-Instruct-2K模型的训练数据源包括：

代码提交数据集： 从CommitPackFT数据集中提取，包含92种编程语言。
数学数据集： 包括MathInstruct和MetaMathQA。
代码指令数据集： 如Glaive-Code-Assistant-v3等。
语言指令数据集： 包含HelpSteer等高质量数据集。

基础设施

Granite Code模型训练采用了IBM的超级计算集群Vela和Blue Vela，这些集群配备了NVIDIA A100和H100 GPU，提供了大规模高效的训练环境。

道德考虑与局限性

Granite代码指令模型主要针对特定编程语言的指令-响应对进行微调，因此在非此领域的编程语言上可能表现有限。建议在实际应用中提供简单的示例以指导模型输出。开发者在将模型应用于关键项目之前，应进行相关的安全测试和目标调优。另外，模型还继承了其基础模型的道德考虑与局限性。详细内容可参考Granite-3B-Code-Base-2K模型卡。