LMMS-Eval: 加速大型多模态模型的评估与发展

lmms-eval

LMMS-Eval: 大型多模态模型评估的新标准

在人工智能领域,我们正朝着实现人工通用智能(AGI)的目标迈进,这种热情不亚于1960年代的登月计划。这一进程由先进的大型语言模型(LLMs)和大型多模态模型(LMMs)推动,这些复杂的系统能够理解、学习并执行各种人类任务。

为了衡量这些模型的先进程度,研究人员开发了各种评估基准。这些基准工具帮助我们理解模型的能力,展示我们距离实现AGI还有多远。然而,寻找和使用这些基准是一个巨大的挑战。必要的基准和数据集分散在Google Drive、Dropbox以及各个学校和研究实验室的网站上,就像在进行一场没有地图的寻宝游戏。

在这样的背景下,LMMS-Eval应运而生。它是一个专为大型多模态模型(LMMs)设计的全面评估框架,旨在加速LMMs的发展。

LMMS-Eval的主要特点

全面的评估范围: LMMS-Eval提供了50多个多模态数据集和10多个模型的整体评估,涵盖了图像理解、视频分析、跨模态推理等多个方面。
统一的评估接口: 借鉴了lm-evaluation-harness的设计,LMMS-Eval提供了统一的数据和模型接口,使得评估过程变得简单高效。
支持多种模型: 目前支持LLaVA、Idefics-2、Microsoft Phi-3-Vision等多个知名的多模态模型。
灵活的任务扩展: 研究者可以方便地添加自定义模型和数据集,以满足特定的评估需求。
视频评估支持: 从v0.2.0版本开始,LMMS-Eval支持对视频模型进行评估,如LLaVA-NeXT Video和Gemini 1.5 Pro。
开源社区驱动: LMMS-Eval是一个开源项目,欢迎社区贡献新的模型、数据集和功能。

如何使用LMMS-Eval

LMMS-Eval的使用非常直观。以下是一些典型的使用场景:

评估单个模型在特定任务上的表现:

python3 -m accelerate.commands.launch \
    --num_processes=8 \
    -m lmms_eval \
    --model llava \
    --model_args pretrained="liuhaotian/llava-v1.5-7b" \
    --tasks mme \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_v1.5_mme \
    --output_path ./logs/

评估模型在多个数据集上的表现:

python3 -m accelerate.commands.launch \
    --num_processes=8 \
    -m lmms_eval \
    --model llava \
    --model_args pretrained="liuhaotian/llava-v1.5-7b" \
    --tasks mme,mmbench_en \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_v1.5_mme_mmbenchen \
    --output_path ./logs/

评估视频模型:

accelerate launch --num_processes 8 --main_process_port 12345 -m lmms_eval \
    --model llavavid \
    --model_args pretrained=lmms-lab/LLaVA-NeXT-Video-32B-Qwen,conv_template=qwen_1_5,video_decode_backend=decord,max_frames_num=32，mm_spatial_pool_mode=average,mm_newline_position=grid,mm_resampler_location=after \
    --tasks videomme \
    --batch_size 1 \
    --log_samples \
    --log_samples_suffix llava_vid_32B \
    --output_path ./logs/