paligemma-3b-pt-224

PaliGemma-3B-PT-224项目介绍

项目概述

PaliGemma-3B-PT-224是一个由Google开发的多功能轻量级视觉语言模型(VLM)。该模型基于开放组件如SigLIP视觉模型和Gemma语言模型,受PaLI-3模型的启发而设计。它能够同时接收图像和文本作为输入,并生成文本作为输出,支持多种语言。这个模型专为在广泛的视觉语言任务上实现领先的微调性能而设计,如图像和短视频字幕、视觉问答、文本阅读、物体检测和物体分割等。

模型架构

PaliGemma-3B-PT-224由一个Transformer解码器和一个Vision Transformer图像编码器组成,总共拥有30亿个参数。其文本解码器基于Gemma-2B初始化,而图像编码器则基于SigLIP-So400m/14初始化。该模型遵循PaLI-3的训练方法进行训练。

输入与输出

• 输入:图像和文本字符串,如描述图像的提示或问题。
• 输出:根据输入生成的文本响应,如图像描述、问题答案、物体边界框坐标列表或分割代码词。

预训练数据集

PaliGemma-3B-PT-224在多个数据集上进行了预训练,包括:

• WebLI:一个大规模多语言图像-文本数据集
• CC3M-35L:经过筛选的英语图像-替代文本对,并翻译成34种额外语言
• VQ²A-CC3M-35L/VQG-CC3M-35L:VQ2A-CC3M的子集,同样翻译成34种额外语言
• OpenImages:基于OpenImages数据集生成的检测和物体感知问答数据
• WIT:从维基百科收集的图像和文本

数据责任过滤

为确保训练数据的质量和安全性,项目团队对WebLI数据集应用了多重过滤,包括:

• 色情图片过滤
• 文本安全过滤
• 文本毒性过滤
• 个人信息过滤
• 其他质量和安全相关的方法

使用方法

PaliGemma-3B-PT-224是一个单轮视觉语言模型,不适用于对话场景。它最适合通过微调来适应特定用例。用户可以通过任务前缀(如"detect"或"segment")来配置模型要解决的任务。预训练模型已经训练了丰富的能力集(问答、字幕、分割等),但并不适合直接使用,而是需要通过微调来转移到特定任务上。

在Transformers中使用

项目提供了多种精度版本的模型权重,包括float32、bfloat16和float16格式,以适应不同的硬件和性能需求。用户可以根据需要选择合适的精度版本,并使用Transformers库轻松加载和运行模型。

评估结果

PaliGemma-3B-PT-224在多个学术任务上进行了微调和评估,展现了良好的迁移能力。评估任务涵盖了图像描述、问答、视觉推理等多个领域,模型在这些任务上都取得了不错的性能表现。

总的来说,PaliGemma-3B-PT-224是一个功能强大、灵活多样的视觉语言模型,为研究人员和开发者提供了丰富的应用可能性。