wit

项目介绍：WIT 数据集

概述

Wikipedia-based Image Text Dataset（简称 WIT）是一个庞大的多模态多语言数据集。这个数据集包含了超过3760万组丰富的图像-文本实体示例，涵盖了108种不同语言的维基百科，并收集了1150万张独特的图片。WIT 的规模使其成为训练多模态机器学习模型的理想选择。

主要优势

WIT 数据集具有以下独特优势：

• 大规模多模态数据集： WIT 是按图像-文本示例数量来说最大的公开数据集。
• 多语言覆盖广泛： 这是首个覆盖108种语言的多语言数据集。
• 丰富的元数据和上下文信息： WIT 是首个提供页面级元数据和上下文信息的图文数据集。
• 丰富多样的概念和实体： 数据集包含多样的概念和真实世界的实体。
• 引入挑战的真实测试集： 提供具有挑战性的测试集合。

重要更新

• 2021年4月： WIT 的论文获得 SIGIR 大会的接纳。
• 2021年9月： 在 Kaggle 上举办了 WIT 图像-文本竞赛，Wikimedia Research 对此进行了博客发布。
• 2022年4月： WIT 数据集获得了 Wikimedia 基金会年度研究奖。
• 2022年5月： 发布了 WIT 的验证集和测试集。
• 2023年4月及5月： 在 SIGIR 2023 和 WikiWorkshop 2023 上有多项提案和论文被接纳。

数据集示例

一个典型的 WIT 例子是从维基百科的 Half Dome 页面上获取有关图片、文本片段及其上下文元数据，通过这些信息可以提取和过滤出高质量的图文示例用于多模态建模。

研究动机

多模态视觉语言模型需要一个丰富的数据集以帮助学习如何建模图像与文本之间的关系。大规模的图像-文本数据集能够显著提高模型的性能。然而，以目前的数据集多为英语为主，缺乏广泛的语言覆盖，这阻碍了多语言多模态领域的研究。WIT 旨在通过 Wikipedia 提供的多语言图片和文本对来填补这一空白。

数据集统计

• 数据规模： 包含3713万训练样本、26万验证样本和21万测试样本。
• 图像数量： 共有1150万张独特的图片。
• 文本统计： 各种文本类型包括1600万参考文本、3400万属性文本等。

下载与引用

WIT 数据集可供下载，使用者可以根据以下格式来引用该数据集：

@inproceedings{10.1145/3404835.3463257,
author = {Srinivasan, Krishna and Raman, Karthik and Chen, Jiecao and Bendersky, Michael and Najork, Marc},
title = {WIT: Wikipedia-Based Image Text Dataset for Multimodal Multilingual Machine Learning},
year = {2021},
...

使用许可

WIT 数据集是根据 Creative Commons Attribution-ShareAlike 3.0 Unported 许可发布的。

联系方式

如有疑问，请发送邮件至 wit-dataset@google.com。我们非常期待你的反馈，不论是博客文章、研究项目还是论文。