paligemma-3b-mix-224

PaliGemma-3b-mix-224项目介绍

项目概述

PaliGemma-3b-mix-224是一个由Google开发的多功能视觉语言模型(VLM)。该模型基于开放组件如SigLIP视觉模型和Gemma语言模型,融合了PaLI-3和Gemma的优势。它能够同时接收图像和文本输入,并生成文本输出,支持多种语言。

模型架构

PaliGemma-3b-mix-224采用了Transformer解码器和Vision Transformer图像编码器的组合结构,总参数量达30亿。其中:

• 文本解码器基于Gemma-2B初始化
• 图像编码器基于SigLIP-So400m/14初始化
• 整体训练方法遵循PaLI-3的方案

主要特点

1. 轻量级设计:虽然功能强大,但模型相对轻量,便于fine-tune和部署。

2. 多任务能力:可以处理图像描述、视觉问答、文字识别、目标检测和分割等多种视觉语言任务。

3. 多语言支持:能够处理和生成多种语言的文本。

4. 高性能:在多个下游任务上展现出优秀的fine-tune性能。

应用场景

PaliGemma-3b-mix-224适用于以下场景:

• 图像和短视频描述生成
• 基于图像的问答系统
• 图像中的文字识别和理解
• 物体检测和语义分割
• 多语言图像内容理解

模型训练

PaliGemma-3b-mix-224的训练数据集包括:

• WebLI:一个大规模的多语言图像-文本数据集
• CC3M-35L:来自网页的英语图像-替代文本对,并翻译成34种其他语言
• VQ²A-CC3M-35L/VQG-CC3M-35L:基于CC3M的视觉问答数据集
• OpenImages:基于OpenImages数据集生成的检测和物体相关问答
• WIT:从维基百科收集的图像和文本

训练过程中应用了多重数据过滤,包括色情内容过滤、文本安全过滤、毒性过滤和个人信息过滤等,以确保训练数据的质量和安全性。

使用方法

PaliGemma-3b-mix-224主要设计用于fine-tune到特定任务,而非直接使用。使用时,可以通过任务前缀(如"detect"或"segment")来指定模型执行的任务类型。模型支持多种精度格式,包括float32、bfloat16和float16,可根据需要选择。

性能评估

在多个基准测试中,PaliGemma-3b-mix-224展现出优秀的性能:

• 在COCO图像描述任务中,CIDEr得分达141.92
• 在VQAv2视觉问答任务中,准确率达83.19%
• 在NLVR2自然语言视觉推理任务中,准确率高达90.02%

这些结果表明,该模型在图像描述、视觉问答和视觉推理等多个领域都具有强大的能力。

总结

PaliGemma-3b-mix-224是一个功能多样、性能卓越的视觉语言模型,为研究人员和开发者提供了强大的工具,可用于探索和开发各种视觉语言应用。其开放性和灵活性使其成为推动视觉语言技术发展的重要资源。