gemma-2-27b-it-GGUF

gemma-2-27b-it-GGUF 项目介绍

Gemma-2-27b-it-GGUF 是谷歌公司推出的一款全新对话生成模型，隶属于 Gemma 系列。该项目基于 Gemini 技术，专为文本生成任务设计。Gemma 模型在网络文档、代码和数学等多样化的数据集上进行训练，能够卓越地完成各种复杂任务。

项目背景

Gemma-2-27b-it 是由谷歌开发的一款重量级对话生成模型。与常见的约 8B 或 70B 参数模型相比，27B 参数的规模适合需要中等显存配置的用户。

模型的主要特性

• 参数数量：模型拥有 27B 参数，在性能和资源需求之间取得了良好的平衡。
• 数据集范围：它在 13 万亿个令牌的数据集上训练，这些数据集主要包括三个部分：网络文档、代码和数学。
  • 网络文档：多样化的网络文本让模型接触到丰富的语言风格和词汇。
  • 代码：专注于编程语言的语法和模式，以提高模型生成和理解代码的能力。
  • 数学：数学文本训练增强其逻辑推理和符号表示能力。
• 多语言和代码处理能力：模型具有极大的词汇量，有助于多语言和代码处理。

使用说明

要使用 Gemma-2 模型，用户需要通过 LM Studio 0.2.27，需下载最新更新。在 LM Studio 中选择“Google Gemma Instruct”预设后，系统会自动对提示进行如下格式化：

<start_of_turn>user
{prompt}<end_of_turn>
<start_of_turn>model

用户需要注意，该模型不支持系统提示的功能。

获取与许可

要访问 Gemma 模型，用户需要登录 Hugging Face 平台，并同意谷歌的使用许可协议后方可使用。

项目贡献者

特别感谢 Georgi Gerganov 及其团队的努力，使这些技术成为可能。同时也感谢 Kalomaze 和 Dampf 在数据集上的贡献，为所有大小的计算提供了 imatrix。

注意事项

使用社区模型的用户需注意，LM Studio 并非模型的创造者或拥有者，对模型产生的内容不负责任，因此，用户在使用时应谨慎，了解可能性并承担相应风险。有关项目的更多详情，请访问他们的博客。