gemma-2-9b-it-abliterated-GGUF

gemma-2-9b-it-abliterated-GGUF项目介绍

项目概述

gemma-2-9b-it-abliterated-GGUF 是一个基于 IlyaGusev 的原始模型 gemma-2-9b-it-abliterated 的量化版本。这个项目主要应用于文本生成，目标是通过模型压缩和优化，使其在不同硬件环境下都能高效运行。

使用技术

该项目通过 llama.cpp 的 b3878 版本进行量化，使用了名为 imatrix 的选项来处理数据集。这种量化技术可以极大地减小模型的占用空间，使其适应不同类型的硬件设备，特别是对于内存和显存有限的设备显得尤为重要。

下载和使用方法

用户可以通过 Hugging Face 下载所需的量化模型。目前提供了多种不同规格的量化文件，每一种文件都有各自不同的文件大小和质量要求，可以根据自己的硬件条件和使用需求进行选择。

部分推荐的量化型号有：

Q6_K_L 和 Q6_K：提供非常高质量的推理结果，推荐使用。
Q5_K_L, Q5_K_M, Q5_K_S：同样高质量，非常推荐使用。
Q4_K_L, Q4_K_M, Q4_K_S：质量好，适用于需要节省空间的情况。

下载时可通过 huggingface-cli 工具来实现，使用非常方便。例如：

pip install -U "huggingface_hub[cli]"
huggingface-cli download bartowski/gemma-2-9b-it-abliterated-GGUF --include "gemma-2-9b-it-abliterated-Q4_K_M.gguf" --local-dir ./

使用提示格式

在实际应用中，模型提示应采用以下结构：

<bos><start_of_turn>system
{system_prompt}<end_of_turn>
<start_of_turn>user
{prompt}<end_of_turn>
<start_of_turn>model
<end_of_turn>
<start_of_turn>model