Tiger-Gemma-9B-v3-GGUF

项目介绍：Tiger-Gemma-9B-v3-GGUF

项目背景

Tiger-Gemma-9B-v3-GGUF是一个基于TheDrummer/Tiger-Gemma-9B-v3模型的量化版本，由用户bartowski通过llama.cpp工具进行量化处理。此项目旨在为用户提供一系列经过优化的模型版本，以适应不同的硬件配置和需求。

模型量化说明

量化是一种压缩神经网络模型的方法，可以减小模型大小，提高推理速度，同时尽量减少性能损失。Tiger-Gemma-9B-v3-GGUF模型采用了imatrix量化选项，对模型进行了多种量化处理，以满足不同的使用场景。这些量化版本可以通过LM Studio平台运行。

文件下载指南

项目提供了多种量化模型文件供下载，用户可以根据需求选择适合的版本：

• f16版本：全权重版本，大小为18.49GB，适用于需要完整模型精度的应用。
• Q8_0至Q2_K等版本：按不同程度的量化精度提供，从8-bit质量高精度到2-bit低精度。这些模型可以根据用户的内存情况和性能需求进行选择。其中，Q6_K_L、Q6_K、Q5_K系列被推荐为高质量选项。

文件选择建议

• 若需高性能，选择file size较小的量化版本，与GPU VRAM容量相匹配。
• 如追求最高质量，可结合系统内存和GPU VRAM选择一个合适大小的量化版本。
• 对初学者推荐使用K-quant格式，如Q5_K_M，更易上手。
• 高级用户可根据特定硬件情况选择I-quant格式，适合运行于cuBLAS(Nvidia)或rocBLAS(AMD)环境。

ARM芯片优化

为ARM芯片优化的Q4_0_X_X格式版本通过了显著的速度提升验证。这些版本不支持Metal（苹果）外包，仅限ARM芯片使用。

下载及使用说明

用户可以通过huggingface-cli命令行工具下载所需的量化模型文件。确保工具已安装后，使用下载命令选择所需的文件即可，具体步骤可参考项目提供的命令示例。

项目致谢

项目的实现得到了众多开发者的支持与贡献。特别感谢kalomaze与Dampf协助创建了imatrix校准数据集，以及ZeroWw提供了嵌入/输出实验的灵感。

想要支持bartowski的工作，可以访问其ko-fi页面。