CodeLlama-70b-Instruct-hf

CodeLlama-70b-Instruct-hf 项目介绍

CodeLlama-70b-Instruct-hf 是一个专注于生成代码和理解代码的大型语言模型项目。其模型规模达到70亿参数，是Code Llama系列中的最大模型之一。模型采用最新的生成式文本模型技术进行了预训练和微调，旨在帮助用户生成代码和理解代码。在使用时，用户只需输入文本，它会自动生成相应的代码输出。

项目背景

CodeLlama 是由Meta开发的大型语言模型家族，专注于代码生成和理解。模型的不同版本适用于各种用途，例如专门处理Python编程语言的Python版本，以及用于遵循指令和安全部署的Instruct版本。Code Llama系列包括7B、13B、34B和70B参数的模型，本项目即为70B参数的Instruct版本。

模型功能

代码补全：用户输入代码片段，模型可以自动补全代码。
指令对话：模型支持根据用户提供的指令进行聊天和代码生成。
语言专业性：虽然当前版本主要支持一般性代码生成和理解，但未来可能会推出更多专注于特定语言的版本。

模型使用

安装

要使用该模型，首先需要安装transformers库。可通过以下命令安装：

pip install transformers accelerate

聊天运用

70B Instruct模型使用独特的聊天提示模板。用户可以简单地通过内置聊天模板与模型进行交互。

from transformers import AutoTokenizer, AutoModelForCausalLM
import transformers
import torch

model_id = "codellama/CodeLlama-70b-Instruct-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

chat = [
    {"role": "system", "content": "You are a helpful and honest code assistant expert in JavaScript. Please, provide all answers to programming questions in JavaScript"},
    {"role": "user", "content": "Write a function that computes the set of sums of all contiguous sublists of a given list."},
]
inputs = tokenizer.apply_chat_template(chat, return_tensors="pt").to("cuda")

output = model.generate(input_ids=inputs, max_new_tokens=200)
output = output[0].to("cpu")
print(tokenizer.decode(output))

文本和代码补全

也可以使用pipeline接口简单高效地进行文本或代码补全。

from transformers import AutoTokenizer
import transformers
import torch

model_id = "codellama/CodeLlama-70b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_id)
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'def fibonacci(',
    do_sample=True,
    temperature=0.2,
    top_p=0.9,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=100,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")