Llama-3.1-Nemotron-70B-Instruct-HF-GGUF

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF项目介绍

项目概述

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF是一个基于NVIDIA的Llama-3.1-Nemotron-70B-Instruct-HF模型进行量化的项目。该项目使用llama.cpp工具对原始模型进行了多种不同程度的量化处理，以适应不同的硬件配置和使用需求。这些量化版本极大地减小了模型文件大小，使其能够在更多设备上运行，同时尽可能地保留了原始模型的性能。

量化版本

该项目提供了多种量化版本，从高质量的Q8_0到极度压缩的IQ1_M,文件大小从74.98GB到16.75GB不等。每种量化版本都有其特点和适用场景:

Q8_0: 极高质量，文件最大，适合对质量要求极高的场景
Q6_K、Q5_K系列: 高质量,推荐使用
Q4_K系列: 质量与大小较为均衡,适合大多数使用场景
Q3_K、IQ3系列: 质量较低但仍可用,适合内存受限的设备
Q2_K、IQ2系列: 质量很低但仍可用,文件极小
IQ1_M: 质量极低,不推荐使用

使用方法

用户可以根据自己的硬件配置和需求选择合适的量化版本。项目提供了详细的下载链接和使用huggingface-cli下载的命令示例。对于大于50GB的模型文件,需要下载多个分割文件。

模型格式

该项目使用的prompt格式如下:

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

{system_prompt}<|eot_id|><|start_header_id|>user<|end_header_id|>

{prompt}<|eot_id|><|start_header_id|>assistant<|end_header_id|>