flava-full

项目介绍：FLAVA-完整模型

概述

FLAVA 是由《FAIR》研究团队开发的一种新型人工智能模型，旨在探索单一模型是否可以通过统一架构在多种不同的模态上工作。它通过公开放的多模态数据集进行预训练，总共包含7000万对图文配对数据，这使得该模型完全可再现。模型利用了ImageNet 和 BookCorpus + CCNews 提供的单模态数据进行补充。

FLAVA 模型类似于 CLIP，可以用于任意的图像分类任务，且无须再进行单独训练，也支持无须训练的图像或文本检索。此外，FLAVA 还能微调以满足自然语言理解任务及图文结合推理任务（例如：VQA v2）。

模型结构

FLAVA 使用 ViT-B/32 转换器作为图像和文本编码器。此外，FLAVA 还在其基础上运用了用于多模态任务（如图像与语言任务）的6层多模态编码器。用户可以从 facebook/flava-full 检索点提取不同组件。若需要用于预训练的完整头部，请使用 FlavaForPreTraining 模型类，通常情况下 FlavaModel 已能满足大多数需求。有关如何从头开始预训练 FLAVA 模型的代码，可以查看此仓库。

使用场景

FLAVA被设计为为研究社区提供可再现的研究工件，特别是在某些模型的详细再现信息未公开的情况下，如 CLIP 和 SimVLM。FLAVA 在大多数任务上的表现与这些模型相当，但其训练所需的数据远少于其他模型，同时其训练数据完全来自公开的数据资源。

模型的主要用户群体是AI研究人员。这一模型可以帮助研究人员更好地了解模型的鲁棒性、泛化能力以及在视觉、语言及图文结合领域的能力和局限性。

数据集

FLAVA 的预训练数据集来源于公开的多模态数据，包括COCO、Visual Genome、Localized Narratives、RedCaps、经过过滤的YFCC100M子集、SBUCaptions、Conceptual Captions及Wikipedia图文数据集。大部分数据来自网络，可能会有一定的偏向性，如更关注网民或年轻用户。

性能表现

FLAVA被评估了35个不同的任务，涉及计算机视觉、自然语言理解及图文结合推理。在一些任务上，如COCO和Flickr30k的检索，报告了零次训练准确率；在图像任务上，报告了线性评估结果；在其余任务中，报告了微调后的准确率。整体来看，FLAVA在需要较好文本理解能力的任务上表现优于CLIP。

当前局限

尽管FLAVA在许多任务上都表现出色，但在某些图像分类任务上，其准确性仍逊于CLIP，而在某些文本任务上亦不如BERT。此外，因为大部分公共数据集缺乏场景文本数据，FLAVA在此类任务上的表现不佳。

联系方式

如有任何疑问或建议，可通过邮件联系 Amanpreet，邮箱地址为 amanpreet [at] nyu [dot] edu。