Gemma-2b-it-GGUF

项目介绍：Gemma-2b-it-GGUF

Gemma-2b-it-GGUF项目是由Google开发的，基于其基础模型google/gemma-2b-it。本项目的量化版本由Second State Inc.进行处理，使用的是transformers库。项目的使用需要遵循Gemma的使用条款。

Gemma-2b-it模型可以通过LlamaEdge进行运行。LlamaEdge当前支持的版本是v0.3.2。其运行需要特定的Prompt模板，模板的类型为gemma-instruct，格式如下：

<start_of_turn>user
{user_message}<end_of_turn>
<start_of_turn>model
{model_message}<end_of_turn>model

默认的上下文大小为2048。当把模型作为LlamaEdge服务运行时，可以使用如下命令：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-api-server.wasm -p gemma-instruct -c 4096

同样，也可以作为LlamaEdge命令行应用运行：

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2b-it-Q5_K_M.gguf llama-chat.wasm -p gemma-instruct -c 4096

在Gemma-2b-it-GGUF项目中，提供了多个量化版本的模型供选择。这些模型在质量和大小方面进行了不同的取舍，以满足各种应用需求。以下是几种主要的量化版本：

这些量化模型均通过llama.cpp b2230进行处理，适合不同的应用场景，根据需要选择合适的模型版本以优化性能与资源占用。