Gemma-2b-it-GGUF

项目介绍：Gemma-2b-it-GGUF

项目背景及创建者

Gemma-2b-it-GGUF项目是由Google开发的，基于其基础模型google/gemma-2b-it。本项目的量化版本由Second State Inc.进行处理，使用的是transformers库。项目的使用需要遵循Gemma的使用条款。

模型运行

Gemma-2b-it模型可以通过LlamaEdge进行运行。LlamaEdge当前支持的版本是v0.3.2。其运行需要特定的Prompt模板，模板的类型为gemma-instruct，格式如下：

<start_of_turn>user
{user_message}<end_of_turn>
<start_of_turn>model
{model_message}<end_of_turn>model

默认的上下文大小为2048。当把模型作为LlamaEdge服务运行时，可以使用如下命令：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-api-server.wasm -p gemma-instruct -c 4096

同样，也可以作为LlamaEdge命令行应用运行：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-chat.wasm -p gemma-instruct -c 4096

量化的GGUF模型

在Gemma-2b-it-GGUF项目中，提供了多个量化版本的模型供选择。这些模型在质量和大小方面进行了不同的取舍，以满足各种应用需求。以下是几种主要的量化版本：

• gemma-2b-it-Q2_K.gguf：使用2位量化，大小为900MB，质量损失显著，不推荐常规使用。
• gemma-2b-it-Q3_K_M.gguf：使用3位量化，大小为1.18GB，质量损失高，适用于非常小型的应用场合。
• gemma-2b-it-Q4_K_M.gguf：使用4位量化，大小为1.5GB，提供中等质量和较高的均衡性，推荐使用。
• gemma-2b-it-Q5_K_M.gguf：使用5位量化，大小为1.77GB，质量损失非常低，是一个非常推荐的选择。
• gemma-2b-it-Q6_K.gguf：是使用6位量化的版本，大小达到2.06GB，质量损失极低。
• gemma-2b-it-Q8_0.gguf：使用8位量化，大小为2.67GB，质量损失极低，然而不建议使用。

这些量化模型均通过llama.cpp b2230进行处理，适合不同的应用场景，根据需要选择合适的模型版本以优化性能与资源占用。