Google开源最小的端侧模型，只有2B参数手机运行无延迟，又衍生出很多好场景可以落地

Gemma 是 Google 推出的轻量级、最先进的开放模型系列，采用与创建Gemini模型相同的研究和技术构建而成。

Google 在今年的6月27日发布了 Gemma 2 的 9B 和 27B 模型。

自首次亮相以来，27B 模型迅速成为 LMSYS Chatbot Arena排行榜 上排名最高的开放模型之一，在真实对话中的表现甚至超过了其大小两倍以上的热门模型。

但是 Google 对于轻量级LLM追求的还不止于此，不久前又发布了 Gemma 2 的 2B 版本，势必要在轻量级这一个道路上走到极致。

项目简介

Google承诺Gemma不仅仅注重性能，还建立在负责任的 AI 基础上，优先考虑安全性和可访问性。

为了支持这一承诺，Google最新宣布Gemma 2系列新增三款产品，分别是 Gemma 2 2B、ShieldGemma 和 Gemma Scope。让我们一一进行介绍。

首先来看2B模型，Gemma 2 2B 的参数大小只有 20亿，但是Gemma 2 2B在 Chatbot Arena 上超越了所有 GPT-3.5模型，以其尺寸提供同类最佳的性能，超越同类产品中的其他开放式型号。

除了功能强大以外，Gemma 2 2B 还可以在各种硬件上高效运行。从边缘设备和笔记本电脑到具有Vertex AI和Google Kubernetes Engine (GKE)的强大云部署。

为了进一步提高速度，它使用NVIDIA TensorRT-LLM库进行了优化，并以NVIDIA NIM的形式提供。此优化针对各种部署，包括数据中心、云、本地工作站、PC和边缘设备，使用NVIDIA RTX、NVIDIA GeForce RTX GPU 或NVIDIA Jetson模块进行边缘 AI。

此外，Gemma 2 2B 还可以与Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 以及即将推出的MediaPipe无缝集成，以简化开发。

因为Gemma 2 2B足够小，甚至可以在Google Colab 的 T4 GPU免费层上运行，使实验和开发比以往更加简单。

再看第二个产品 ShieldGemma。

ShieldGemma是一系列最先进的安全分类器，旨在检测和缓解AI模型输入和输出中的有害内容。

ShieldGemma专门针对四个危害领域：仇恨言论、骚扰、色情内容、危险内容。

这些开放分类器是对负责任 AI 工具包中现有安全分类器套件的补充，其中包括一种使用有限数量的数据点构建针对特定策略的分类器的方法，以及通过 API 提供的现有Google Cloud现成分类器。

ShieldGemma同样有不同版本的模型。

2B模型非常适合在线分类任务，而9B和27B版本则为不太关心延迟的离线应用程序提供了更高的性能。

所有尺寸都利用NVIDIA速度优化来实现跨硬件的高效性能。

基于最佳 F1（左）/AU-PRC（右）的评估结果，越高越好。

Google使用 𝛼=0 和 T = 1 来计算概率。ShieldGemma (SG) Prompt 和 SG Response 是Google的测试数据集，OpenAI Mod/ToxicChat 是外部基准。

再来看看最后一个产品 Gemma Scope。

Gemma Scope为研究人员和开发人员提供了前所未有的透明度，让他们能够了解Gemma 2模型的决策过程。

Gemma Scope使用稀疏自动编码器(SAE)放大模型中的特定点，使Gemma 2模型内部工作原理更易于解释。

该产品有超过400个免费SAE，涵盖 Gemma 2 2B和9B的所有层。

这些 SAE 是专门的神经网络，可帮助我们解析Gemma 2处理的密集复杂信息，将其扩展为更易于分析和理解的形式。

通过研究这些扩展的视图，研究人员可以获得有关Gemma 2如何识别模式、处理信息并最终做出预测的宝贵见解。

而且通过交互式演示让我们无需在Neuronpedia上编写代码即可探索 SAE 特性并分析模型行为。

总结

Google的 Gemma 2 模型以2B的参数量能达到这么好的效果，让我想起了前些日子 Mistral Large 2与Meta Lllama 3.1...