Tiger-Gemma-9B-v1-GGUF

Tiger-Gemma-9B-v1-GGUF项目介绍

Tiger-Gemma-9B-v1-GGUF项目是基于TheDrummer的Tiger-Gemma-9B-v1模型开发的一个文本生成量化项目。该项目旨在通过不同的量化方式来优化模型的性能和存储效率，以满足各种硬件环境下的需求。

项目背景

这个项目使用了llama.cpp中的b3389版本进行模型量化。量化是指将模型的浮点数权重转换为低精度整型数值的方法，从而降低模型的存储空间和计算复杂度。在该项目中，所有的量化都是通过imatrix选项完成的。

模型提示格式

在使用此模型进行文本生成时，需要按照特定的提示格式输入内容：

<bos><start_of_turn>user
{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model

需要注意的是，这个模型不支持系统提示。

文件下载

项目提供了多种类型的量化文件，每个文件对应一种不同的量化精度或方式。以下是一些可供下载的文件及其相应的信息：

Tiger-Gemma-9B-v1-f32.gguf：全量的浮点32权重，文件大小为36.97GB。
Tiger-Gemma-9B-v1-Q8_0.gguf：极高质量的量化，文件大小为9.83GB。
Tiger-Gemma-9B-v1-Q6_K_L.gguf：推荐使用的高质量量化，文件大小为7.81GB。

更多量化文件及其详情请访问项目的下载页面。

如何使用huggingface-cli下载

首先，确保已经安装huggingface-cli：

pip install -U "huggingface_hub[cli]"

然后可以选择下载您需要的特定文件：

huggingface-cli download bartowski/Tiger-Gemma-9B-v1-GGUF --include "Tiger-Gemma-9B-v1-Q4_K_M.gguf" --local-dir ./

如何选择合适的文件

选择合适的量化文件需要考虑你的硬件环境，特别是RAM和VRAM的大小。一般来说，文件大小至少要比GPU的可用VRAM小1-2GB，以保证快速运行。

另一个选择因素是量化的类型。项目提供了K-quants和I-quants两种量化方式：

K-quants：一般情况下推荐使用，适用于大多数场景。
I-quants：如果模型小于Q4，并且在使用Nvidia的cuBLAS或AMD的rocBLAS时，I-quants会提供更好的性能。

项目感谢

项目感谢kalomaze和Dampf在创建imatrix校准数据集时的协助，以及ZeroWw在嵌入和输出权重实验中的启发。

更多详情可以访问项目的完整介绍。

希望本项目能够满足您的使用需求，感谢您的支持！如果您想支持这个项目的发展，可以访问ko-fi页面。