Llama-3.1-Nemotron-70B-Instruct-HF-8bit

Llama-3.1-Nemotron-70B-Instruct-HF-8bit项目介绍

项目背景

Llama-3.1-Nemotron-70B-Instruct-HF-8bit是一个由mlx社区制作的模型，基于nvidia的Llama-3.1-Nemotron-70B-Instruct-HF模型转换而来。这个转换使用了mlx-lm版本0.19.0，旨在通过MLX格式来优化和简化模型的使用流程。

关键特性

• 基础模型：模型基于nvidia的Llama-3.1-Nemotron-70B-Instruct-HF。
• 数据集：使用nvidia的HelpSteer2数据集进行训练。
• 应用领域：专注于文本生成任务，适用于对话、问答等多种自然语言处理应用。
• 库：该模型使用transformers库，可以方便地进行加载和应用。
• 许可证：遵循llama3.1许可证。
• 不支持推理与微调：当前版本不支持直接推理和微调，主要用于研究和开发目的。

使用指南

使用该模型需要安装mlx-lm库，通过以下命令进行安装：

pip install mlx-lm

安装后，可以通过以下Python代码加载并使用模型进行文本生成：

from mlx_lm import load, generate

model, tokenizer = load("mlx-community/Llama-3.1-Nemotron-70B-Instruct-HF-8bit")

prompt="hello"

if hasattr(tokenizer, "apply_chat_template") and tokenizer.chat_template is not None:
    messages = [{"role": "user", "content": prompt}]
    prompt = tokenizer.apply_chat_template(
        messages, tokenize=False, add_generation_prompt=True
    )

response = generate(model, tokenizer, prompt=prompt, verbose=True)

在这个例子中，模型会根据输入提示"hello"生成相应的输出。支持对话模板的使用，以增强对话生成的效果。

结语

Llama-3.1-Nemotron-70B-Instruct-HF-8bit提供了一种便捷的方式来使用强大的文本生成功能。尽管不支持推理和微调，该模型仍然是学习和探索文本生成技术的有用工具。通过MLX格式的转换，用户可以更方便地在他们的项目中应用此模型。