Llama-3.2-3B-Instruct-GGUF

Llama-3.2-3B-Instruct-GGUF 项目介绍

项目背景

Llama-3.2-3B-Instruct-GGUF 是 Meta 公司开发的一个多语言大规模语言模型（LLM），以广泛的语言支持和高效的文本生成能力为亮点。此项目特别针对指令调教过的文本生成模型，专注于多语言对话的使用场景，例如知识检索和总结等任务。

模型信息

Llama 3.2 是一种自回归语言模型，基于优化的 transformer 架构进行开发。其调优版本使用了监督微调（SFT）和人类反馈的强化学习（RLHF）技术，以更符合用户对安全和帮助的偏好。

开发者： Meta
参数数量： 提供了1B（十亿）和3B（三十亿）模型
输入/输出模态： 多语言文本
支持的语言： 英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语
模型发布日期： 2024年9月25日
许可协议： 依据 Llama 3.2 社区许可证（自定义商用许可证协议）

模型特性

Llama 3.2 的模型系列运用了分组查询注意力（GQA），以提升推理的扩展能力。此外，尽管官方仅支持八种语言，但开发者可依据许可证协议在安全和负责任的前提下，针对更多语言进行模型微调。

使用意图

Llama 3.2 主要面向商业和研究用途。其已调教的文本模型可用于类似助手的聊天及代理应用，例如知识检索、总结、移动 AI 写作助手以及查询重写等。通过预训练模型的适配，可以实现更多的自然语言生成任务。

不适用范围

任何违反适用法律或 Meta 使用政策的用途，以及在未被明确支持的语言中的应用，均被视为不当使用。

如何使用

该项目提供了两个版本，供使用 transformers 库和原始 llama 代码库进行应用。

使用 transformers

从 transformers >= 4.43.0 版本开始，可以用Transformers pipeline 抽象类或通过 generate() 函数及 Auto 类进行对话推理。

确保你通过以下命令更新你的 transformers 包：

pip install --upgrade transformers

然后，使用以下代码进行文本生成：

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-3B-Instruct"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
messages = [
    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
    {"role": "user", "content": "Tell me about the sea!"},
]
print(pipe(messages))