Llama-3.2-1B-Instruct-GGUF

Llama-3.2-1B-Instruct-GGUF 项目介绍

项目背景

Llama-3.2-1B-Instruct-GGUF 是由 Meta 开发的一个大型多语言文本生成模型。这一系列模型包括预训练和指令调优的生成模型，覆盖众多语言和对话使用场景。其特别之处在于通过优化的 transformer 架构和多语言支持，性能在行业标准测试中表现优异。

模型信息

Llama 3.2 是一种自回归语言模型，使用优化后的 transformer 架构，以帮助性和安全性为目标，通过监督微调（SFT）和人类反馈的强化学习（RLHF）进行调整。该模型包含 1B 和 3B 两种规模，支持的输入输出模式为多语言文本和代码。

	数据训练	参数	输入形式	输出形式	上下文长度	GQA	共享嵌入	令牌数	知识截止日期
Llama 3.2 (仅文本)	新的公开网络数据集	1B (1.23B)	多语言文本	多语言文本和代码	128k	是	是	最高 9 万亿个令牌	2023 年 12 月

支持的语言包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。用户还可以根据需要对模型进行调优以支持更多的语言，前提是遵循相关社区许可协议和可接受使用政策。

使用场景

Llama 3.2 设计用于商业和研究用途，旨在处理助手型聊天、知识检索与摘要、移动 AI 写作助手、查询重写等多种任务。模型的独特功能使其能够在特定的自然语言生成任务中进行调整和适应。

使用须知

在使用此项目时，用户需注意禁止用途。禁止违反法律法规的用途，或任何其他在许可协议和可接受使用政策中明令禁止的用途。此外，模型不支持在未列明支持的语言范围内的使用。

如何使用

这个库包含适用于 transformers 和原始 llama 代码库的两个版本。要使用 transformers 进行推理，请确保安装了 transformers >= 4.43.0 的版本。

示例代码：

import torch
from transformers import pipeline

model_id = "meta-llama/Llama-3.2-1B-Instruct"
pipe = pipeline(
    "text-generation",
    model=model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
messages = [
    {"role": "system", "content": "你是一个只使用海盗口音回复的聊天机器人！"},
    {"role": "user", "content": "请告诉我今天的天气。"}
]