Llama3-8B-Chinese-Chat

Llama3-8B-Chinese-Chat项目介绍

项目概述

Llama3-8B-Chinese-Chat是一个结合中文和英文的指令微调语言模型，旨在为用户提供多功能的角色扮演和工具使用支持。该项目建立在Meta-Llama-3-8B-Instruct模型的基础上，经过细致的训练和优化，能够更好地处理中英文语言转换及内容生成。

项目背景与目标

Llama3-8B-Chinese-Chat的开发目标是解决以往模型中存在的问题，例如中文问题却得到英文答复及回答中中英文混杂的现象。通过特定的优化技术和扩展的数据集训练，Llama3-8B-Chinese-Chat在角色扮演、数学计算及功能调用等方面表现出色。

发展历程

Llama3-8B-Chinese-Chat-v1

作为该系列的第一个版本，Llama3-8B-Chinese-Chat-v1着重于解决中英文混乱问题，尽管训练数据量相对较小，但已经展示了相当的潜力。在此版本中，模型通过20,000个偏好对的数据集进行微调，达到了一定的成果。

Llama3-8B-Chinese-Chat-v2和v2.1

第二版及其进一步改进的2.1版在v1的基础上提升显著，训练数据量扩大至100,000个偏好对，极大提高了模型在多种任务中的表现能力。尤其是在角色扮演、工具使用和数学运算等方面，v2.1版表现优异，并且减少了回答中出现英文的频率。

使用说明

使用Llama3-8B-Chinese-Chat非常便捷，通过transformers库，用户可以轻松加载模型并进行文本生成任务。以下是简单的代码示例：

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "shenzhi-wang/Llama3-8B-Chinese-Chat"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id, torch_dtype="auto", device_map="auto"
)

messages = [
    {"role": "user", "content": "写一首诗吧"},
]

input_ids = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True, return_tensors="pt"
).to(model.device)

outputs = model.generate(
    input_ids,
    max_new_tokens=8192,
    do_sample=True,
    temperature=0.6,
    top_p=0.9,
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))