Meta-Llama-3.1-8B-Instruct-bnb-4bit

Meta-Llama-3.1-8B-Instruct项目介绍

Meta-Llama-3.1-8B-Instruct是Meta公司开发的一个强大的大语言模型,基于Llama 3.1架构,经过了指令微调。这个项目为用户提供了一个高效、易用的模型,可以用于多种自然语言处理任务。

模型概述

这是一个具有80亿参数的多语言大语言模型,采用优化的Transformer架构。它经过了监督微调(SFT)和人类反馈强化学习(RLHF)的训练,以提高模型的有用性和安全性。该模型支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多种语言。

主要特点

128k的上下文长度,支持处理长文本
采用分组查询注意力(GQA)机制,提高推理效率
预训练数据量超过15万亿个token
知识截止日期为2023年12月
商业和研究用途均可使用

性能表现

在多项基准测试中,Meta-Llama-3.1-8B-Instruct都展现出了优秀的性能:

MMLU测试中,准确率达到69.4%
CommonSenseQA测试中,准确率达到75.0%
ARC-Challenge测试中,准确率高达79.7%

这些结果表明,该模型在通用知识、常识推理和科学问题等多个领域都具有很强的能力。

使用方法

用户可以通过Hugging Face的Transformers库轻松使用这个模型:

import transformers
import torch

model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipeline = transformers.pipeline(
    "text-generation",
    model=model_id,
    model_kwargs={"torch_dtype": torch.bfloat16},
    device_map="auto",
)

messages = [
    {"role": "user", "content": "Who are you?"},
]

outputs = pipeline(
    messages,
    max_new_tokens=256,
)
print(outputs[0]["generated_text"])