SuperNova-Medius-GGUF

SuperNova-Medius-GGUF 项目介绍

SuperNova-Medius-GGUF项目是基于arcee-ai的SuperNova-Medius基础模型开发的一个文本生成项目。这个项目采用了在不同环境下优化和量化模型的技术，以适应多种设备的运算需求，并提升模型的执行速度和效果。模型采用了Apache 2.0许可证，意味着它是开源和免费使用的。

量化技术

为了实现模型的小型化和高效化，项目使用了量化技术。具体来说，采用了llama.cpp项目的b3901版本进行量化。通过这种方式，模型可以在低配置设备上运行依然保持高质量的文本生成能力。这些量化操作使用了来自bartowski提供的数据集。

模型文件及其特性

项目为用户提供了多种量化格式的模型文件，每种文件都有其特定的使用场景和性能特点：

f16 格式：这是最完整的格式，体积为29.55GB，适合在高配置设备上追求最佳性能。
Q系列格式：如Q8_0、Q6_K_L等，这些格式在不同的量化精度和权衡下，实现了性能与存储大小的平衡，如Q8_0的文件大小为15.70GB，而Q6_K_L的大小则为12.50GB。
IQ系列格式：如IQ4_XS，这些是使用最新量化方法压缩的模型，虽然体积较小，但性能上并不逊色于传统方法。适合RAM较小的设备。

如何选择合适的模型

选择合适的模型文件需要根据用户的设备资源来决定。如果设备的GPU和RAM足够大，用户可以选择较大文件尺寸的模型以获得更好性能。如果设备资源较为紧张，则可以选择较小的格式，例如Q4系或IQ3系，这些文件大小通常低于10GB。

模型下载方式

用户可以使用huggingface-cli命令行工具下载模型文件。根据需要，可以选择下载单一文件或整个分支。

pip install -U "huggingface_hub[cli]"
huggingface-cli download bartowski/SuperNova-Medius-GGUF --include "SuperNova-Medius-Q4_K_M.gguf" --local-dir ./