MMMU

MMMU 项目介绍

什么是 MMMU？

MMMU 是一个全新的基准测试平台，旨在评估多模态模型在多个学科任务上的表现，这些任务需要大学水平的学科知识和缜密的推理能力。MMMU 的数据集包括从大学考试、测验和教材中精心收集的11,500 个多模态问题，涵盖艺术与设计、商业、科学、健康与医学、人文与社会科学、技术与工程六大核心学科。这些问题涉及30 个科目和183 个子领域，包含如图表、示意图、地图、表格、乐谱和化学结构等32 种高度异构的图像类型。

与现有的基准测试不同，MMMU 注重高级感知和推理能力，利用特定领域的知识来完成类似专家的任务。对于14个开源的大型多模态模型 (LMMs) 和专有的 GPT-4V（视觉版）的评估显示，MMMU 提出了重大挑战。即使是先进的 GPT-4V 也仅获得 56% 的准确率，这表明还有很大的改进空间。我们相信，MMMU 将激励社区构建下一代面向专家通用人工智能（AGI）的多模态基础模型。

MMMU

关于 MMMU-Pro

在 MMMU 的基础上，MMMU-Pro 进一步提出了更为严格的评估方法以检测多模态模型的内在理解和推理能力。MMMU-Pro 使用了一个精心设计的三步流程：

筛选出仅通过文本即可回答的问题：确保挑战的是多模态理解能力，而不仅仅是纯文本理解。
增加候选选项：引入更多合理的选项以增加任务难度。
仅视觉输入设置：将问题嵌入于图像中，要求 AI 同时“看”和“读”，模拟人类整合视觉与文本信息的核心认知技能。

我们的实验结果显示，各模型在 MMMU-Pro 上的表现显著低于 MMMU，准确率在 16.8% 到 26.9% 之间。我们研究了 OCR 提示和思维链（CoT）推理的效果。OCR 提示的影响微乎其微，而 CoT 一般可以提升性能。MMMU-Pro 提供了一个更为严格的评估框架，更贴近真实世界的场景，为推进多模态 AI 研究提供了重要的见解。

MMMU-Pro

数据集创建

MMMU 和 MMMU-Pro 是精心设计的，以挑战和评估多模态模型在需要大学水平学科知识和复杂推理的任务中的表现。有关详细信息，可以参考我们的 Hugging Face 数据集：

评估方法

请参考我们的评估文件夹以获取关于如何使用 MMMU 和 MMMU-Pro 基准进行评估的详细信息：

MMMU 评估概况

我们发布了一套包含 150 个开发样本和 900 个验证样本的完整套件。然而，10,500 个测试问题的答案是隐藏的。

使用开发集进行少样本/上下文学习。使用验证集进行调试模型、选择超参数以及快速评估。

对于测试集的问题答案和解释是保密的。您可以将模型的预测提交到 EvalAI 进行测试集结果的验证。

注意事项

我们强调数据标注人员需严格遵守初始数据来源的版权和许可规定，特别是避免使用禁止拷贝和再分发的网站上的材料。如果您发现任何可能违反网站版权或许可规定的数据样本，欢迎通过联系方式与我们取得联系。一经核实，我们将立即删除相关样本。

联系方式

引用

如果您使用了该项目中的资源，请引用相关文献。BibTeX 格式如下：

@inproceedings{yue2023mmmu,
  title={MMMU: A Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark for Expert AGI},
  author={Xiang Yue and Yuansheng Ni and Kai Zhang and Tianyu Zheng and Ruoqi Liu and Ge Zhang and Samuel Stevens and Dongfu Jiang and Weiming Ren and Yuxuan Sun and Cong Wei and Botao Yu and Ruibin Yuan and Renliang Sun and Ming Yin and Boyuan Zheng and Zhenzhu Yang and Yibo Liu and Wenhao Huang and Huan Sun and Yu Su and Wenhu Chen},
  booktitle={Proceedings of CVPR},
  year={2024},
}

@article{yue2024mmmu,
  title={MMMU-Pro: A More Robust Multi-discipline Multimodal Understanding Benchmark},
  author={Xiang Yue and Tianyu Zheng and Yuansheng Ni and Yubo Wang and Kai Zhang and Shengbang Tong and Yuxuan Sun and Botao Yu and Ge Zhang and Huan Sun and Yu Su and Wenhu Chen and Graham Neubig},
  journal={arXiv preprint arXiv:2409.02813},
  year={2024}
}