Llama-3.1-Nemotron-70B-Instruct-HF-8bit

Llama-3.1-Nemotron-70B-Instruct-HF-8bit项目介绍

项目背景

Llama-3.1-Nemotron-70B-Instruct-HF-8bit是一个由mlx社区制作的模型，基于nvidia的Llama-3.1-Nemotron-70B-Instruct-HF模型转换而来。这个转换使用了mlx-lm版本0.19.0，旨在通过MLX格式来优化和简化模型的使用流程。

关键特性

基础模型：模型基于nvidia的Llama-3.1-Nemotron-70B-Instruct-HF。
数据集：使用nvidia的HelpSteer2数据集进行训练。
应用领域：专注于文本生成任务，适用于对话、问答等多种自然语言处理应用。
库：该模型使用transformers库，可以方便地进行加载和应用。
许可证：遵循llama3.1许可证。
不支持推理与微调：当前版本不支持直接推理和微调，主要用于研究和开发目的。

使用指南

使用该模型需要安装mlx-lm库，通过以下命令进行安装：

pip install mlx-lm

安装后，可以通过以下Python代码加载并使用模型进行文本生成：

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF-8bit")

prompt="hello"

if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)