Llama3-8B-Chinese-Chat-GGUF-4bit

Llama3-8B-Chinese-Chat-GGUF-4bit 项目介绍

Llama3-8B-Chinese-Chat-GGUF-4bit项目是一个专为中文和英文用户打造的语言模型项目，基于Meta-Llama-3-8B-Instruct基础模型，是一个经过精细调教的指令型语言模型。该项目由Shenzhi Wang、Yaowei Zheng、Guoyin Wang、Shiji Song和Gao Huang共同开发。

项目背景

Llama3-8B-Chinese-Chat的目标是通过ORPO（无参照单晶偏好优化）技术，提升中文和英文交流的自然度和准确性。Llama3-8B-Chinese-Chat模型不仅能处理角色扮演和函数调用等复杂功能，还在数学领域表现出色。

版本更新与比较

Llama3-8B-Chinese-Chat-v2.1

发布日期：2024年5月6日
数据集规模：相比v1版本，训练数据集扩大了5倍（约10万对偏好数据）。
性能改进：在角色扮演、函数调用和数学问题解决能力上显著提升；在中文回答中更少夹杂英文单词。

Llama3-8B-Chinese-Chat-v2

发布日期：2024年4月29日
数据集规模：从20K扩展至100K。
改进点：进一步提升了角色扮演、工具使用和数学能力。

使用说明

Llama3-8B-Chinese-Chat提供了多种GGUF版本（q4_0、q8_0和f16），每种版本都可以通过简单的命令就能快速运行。例如，通过以下Python示例可以实现即时的聊天生成：

from llama_cpp import Llama

model = Llama(
    "/Your/Path/To/GGUF/File",
    verbose=False,
    n_gpu_layers=-1,
)

system_prompt = "You are a helpful assistant."

def generate_reponse(_model, _messages, _max_tokens=8192):
    _output = _model.create_chat_completion(
        _messages,
        stop=["<|eot_id|>", "<|end_of_text|>"],
        max_tokens=_max_tokens,
    )["choices"][0]["message"]["content"]
    return _output

messages = [
    {
        "role": "system",
        "content": system_prompt,
    },
    {"role": "user", "content": "写一首诗吧"},
]

print(generate_reponse(model, messages))

模型示例

以下为Llama3-8B-Chinese-Chat-v2.1生成的一些示例，包括角色扮演、函数调用和数学问题等：

角色扮演示例：用户要求系统扮演知名人物回答问题。
函数调用与数学能力：对复杂工程计算或数学推理进行模拟。
创意写作：根据指令生成诗歌、短文等创意内容。

总结

Llama3-8B-Chinese-Chat项目在提高人机交互的流畅性和多样性上表现卓越，并且为中英文用户提供了强大的工具。未来，该项目会继续扩展和完善，发布更强大的版本以适应不断变化的用户需求。用户可访问GitHub仓库获取更多信息和使用文档。如果您喜欢这个项目，请为我们的GitHub和HuggingFace仓库点赞！