NemoMix-Unleashed-12B-GGUF

NemoMix-Unleashed-12B-GGUF项目介绍

NemoMix-Unleashed-12B-GGUF是一个由bartowski量化的大型语言模型项目。该项目基于MarinaraSpaghetti的NemoMix-Unleashed-12B模型,使用llama.cpp进行量化,为用户提供了多种不同精度的GGUF格式模型文件。

项目特点

1. 多种量化精度选择:项目提供了从F16到Q2_K等多种精度的模型文件,可满足不同硬件条件和应用场景的需求。

2. 文件大小灵活:模型文件大小从24.5GB到4.44GB不等,用户可根据自身设备内存选择合适的版本。

3. 性能与大小平衡:通过不同的量化方法,在模型大小和性能之间取得了很好的平衡。

4. 详细的模型说明:每个模型文件都有清晰的描述,包括量化类型、文件大小、推荐程度等信息。

5. 创新的量化技术:采用了embed/output weights等新技术,部分模型使用Q8_0量化嵌入层和输出层权重,以提高模型质量。

使用建议

1. 根据设备内存选择模型:用户应根据自己的RAM和VRAM总和,选择文件大小比总内存小1-2GB的模型。

2. K-quant和I-quant的选择:K-quant(如Q5_K_M)适合大多数用户;I-quant(如IQ3_M)在某些硬件上可能有更好的性能。

3. 推荐模型:Q6_K_L、Q5_K_M、Q4_K_M等被标记为推荐使用的模型,可优先考虑。

4. 低内存选择:对于低内存设备,可考虑Q3_K_L或IQ3_XS等较小的模型文件。

5. 使用LM Studio运行:项目建议使用LM Studio软件来运行这些模型。

下载方式

项目提供了使用huggingface-cli的详细下载指令,用户可以方便地下载所需的单个模型文件或整个模型文件夹。

项目贡献

该项目得到了多方面的支持,包括kalomaze和Dampf在创建imatrix校准数据集方面的协助,以及ZeroWw在embed/output实验方面的启发。项目维护者欢迎用户反馈使用体验,以持续改进模型质量。

总的来说,NemoMix-Unleashed-12B-GGUF项目为用户提供了一系列高质量、多样化的量化语言模型,满足了不同应用场景的需求,是一个非常有价值的开源资源。