MeViS：基于运动表达的大规模视频分割基准

🏠[项目主页] 📄[arXiv] 📄[PDF] 🔥[数据集下载] 🔥[评估服务器]

本仓库包含ICCV2023论文的代码：

MeViS：基于运动表达的大规模视频分割基准
丁恒辉、刘畅、何舒婷、江旭东、陈庆龙
ICCV 2023

摘要

本研究致力于基于运动表达的视频分割，重点关注根据描述物体运动的句子对视频内容中的物体进行分割。现有的指代视频对象分割数据集忽视了运动在语言引导视频对象分割中的重要性。为了研究使用运动表达定位和分割视频中物体的可行性，我们提出了一个名为MeViS的大规模数据集，其中包含了大量用于指示复杂环境中目标对象的运动表达。MeViS基准的目标是提供一个平台，以促进开发有效的语言引导视频分割算法，这些算法将运动表达作为复杂视频场景中对象分割的主要线索。

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6e130735-11ff-47b0-8cfc-3821bab99672.png?raw=true" width="100%" height="100%"/> </div> <p style="text-align:justify; text-justify:inter-ideograph;width:100%">图1. <b>运动表达视频分割</b>（<b>MeViS</b>）的视频剪辑示例，用于说明数据集的性质和复杂性。<font color="#FF6403">MeViS中的表达主要关注运动属性和无法通过单帧识别的指代目标对象</font>。例如，第一个示例中有三只外观相似的鹦鹉，目标对象被描述为<i>"正在飞走的鸟"</i>。这个对象只能通过捕捉整个视频中的运动来识别。</p> <table border="0.6"> <div align="center"> <caption><b>表1. MeViS与现有语言引导视频分割数据集的规模比较。 </div> <tbody> <tr> <th align="right" bgcolor="BBBBBB">数据集</th> <th align="center" bgcolor="BBBBBB">发表年份</th> <th align="center" bgcolor="BBBBBB">视频数</th> <th align="center" bgcolor="BBBBBB">物体数</th> <th align="center" bgcolor="BBBBBB">表达式数</th> <th align="center" bgcolor="BBBBBB">掩码数</th> <th align="center" bgcolor="BBBBBB">物体/视频</th> <th align="center" bgcolor="BBBBBB">物体/表达式</th> <th align="center" bgcolor="BBBBBB">目标</th> </tr> <tr> <td align="right"><a href="https://kgavrilyuk.github.io/publication/actor_action/" target="_blank">A2D Sentence</a></td> <td align="center">CVPR 2018</td> <td align="center">3,782</td> <td align="center">4,825</td> <td align="center">6,656</td> <td align="center">58k</td> <td align="center">1.28</td> <td align="center">1</td> <td align="center">演员</td> </tr> <tr> <td align="right" bgcolor="ECECEC"><a href="https://www.mpi-inf.mpg.de/departments/computer-vision-and-machine-learning/research/video-segmentation/video-object-segmentation-with-language-referring-expressions" target="_blank">DAVIS17-RVOS</a></td> <td align="center" bgcolor="ECECEC">ACCV 2018</td> <td align="center" bgcolor="ECECEC">90</td> <td align="center" bgcolor="ECECEC">205</td> <td align="center" bgcolor="ECECEC">205</td> <td align="center" bgcolor="ECECEC">13.5k</td> <td align="center" bgcolor="ECECEC">2.27</td> <td align="center" bgcolor="ECECEC">1</td> <td align="center" bgcolor="ECECEC">物体</td> </tr> <tr> <td align="right"><a href="https://youtube-vos.org/dataset/rvos/" target="_blank">ReferYoutubeVOS</a></td> <td align="center">ECCV 2020</td> <td align="center">3,978</td> <td align="center">7,451</td> <td align="center">15,009</td> <td align="center">131k</td> <td align="center">1.86</td> <td align="center">1</td> <td align="center">物体</td> </tr> <tr> <td align="right" bgcolor="E5E5E5"><b>MeViS (我们的)</b></td> <td align="center" bgcolor="E5E5E5"><b>ICCV 2023</b></td> <td align="center" bgcolor="E5E5E5"><b>2,006</b></td> <td align="center" bgcolor="E5E5E5"><b>8,171</b></td> <td align="center" bgcolor="E5E5E5"><b>28,570</b></td> <td align="center" bgcolor="E5E5E5"><b>443k</b></td> <td align="center" bgcolor="E5E5E5"><b>4.28</b></td> <td align="center" bgcolor="E5E5E5"><b>1.59</b></td> <td align="center" bgcolor="E5E5E5"><b>物体</b></td> </tr> </tbody> <colgroup> <col> <col> <col> <col> <col> <col> <col> <col> <col> </colgroup> </table>

MeViS数据集下载

⬇️ 点击这里下载数据集☁️。

数据集划分

总共2,006个视频和28,570个句子；
训练集： 1662个视频和23,051个句子，用于训练；
验证集<sup>u</sup>： 50个视频和793个句子，供用户在训练期间进行离线评估（如消融研究）；
验证集： 140个视频和2,236个句子，用于CodaLab在线评估；
测试集： 154个视频和2,490个句子（尚未发布），用于比赛期间的评估；建议在验证集<sup>u</sup>和验证集上报告结果。

在线评估

请在以下平台提交您的验证集结果：

💯 CodaLab

强烈建议在向在线评估系统提交验证集结果之前，先使用**验证集<sup>u</sup>**在本地评估您的模型。

文件结构

该数据集的结构与Refer-YouTube-VOS类似。每个数据集划分包含三个部分：JPEGImages，存放帧图像；meta_expressions.json，提供指代表达式和视频元数据；以及mask_dict.json，包含物体的地面真实掩码。地面真实分割掩码以COCO RLE格式保存，表达式的组织方式类似于Refer-Youtube-VOS。

请注意，虽然训练集和验证集<sup>u</sup>提供了所有帧的注释，但验证集仅提供用于推理的帧图像和指代表达式。

mevis
├── train                       // 训练集
│   ├── JPEGImages
│   │   ├── <视频 #1  >
│   │   ├── <视频 #2  >
│   │   └── <视频 #...>
│   │
│   ├── mask_dict.json
│   └── meta_expressions.json
│
├── valid_u                     // 验证集^u
│   ├── JPEGImages
│   │   └── <视频 ...>
│   │
│   ├── mask_dict.json
│   └── meta_expressions.json
│
└── valid                       // 验证集
    ├── JPEGImages
    │   └── <视频 ...>
    │
    └── meta_expressions.json

方法代码安装:

请参见 INSTALL.md

推理

1. Val<sup>u</sup>集

获取Val<sup>u</sup>集的输出掩码:

python train_net_lmpm.py \
    --config-file configs/lmpm_SWIN_bs8.yaml \
    --num-gpus 8 --dist-url auto --eval-only \
    MODEL.WEIGHTS [权重路径] \
    OUTPUT_DIR [输出目录]

获取Val<sup>u</sup>集的J&F结果:

python tools/eval_mevis.py

2. Val集

获取Val集的输出掩码以进行CodaLab在线评估:

python train_net_lmpm.py \
    --config-file configs/lmpm_SWIN_bs8.yaml \
    --num-gpus 8 --dist-url auto --eval-only \
    MODEL.WEIGHTS [权重路径] \
    OUTPUT_DIR [输出目录] DATASETS.TEST '("mevis_test",)'

CodaLab评估提交指南

提交格式应为包含Val集预测.PNG结果的**.zip**文件(适用于当前比赛阶段)。

你可以使用以下命令准备.zip提交文件

cd [输出目录]
zip -r ../xxx.zip *

可以从CodaLab找到名为sample_submission_valid.zip的提交示例。

sample_submission_valid.zip       // .zip文件,直接打包140个验证集视频文件夹
├── 0ab4afe7fb46                  // 视频文件夹名
│   ├── 0                         // 表达式id文件夹名
│   │   ├── 00000.png             // .png文件
│   │   ├── 00001.png
│   │   └── ....
│   │
│   ├── 1
│   │   └── 00000.png
│   │   └── ....
│   │
│   └── ....
│ 
├── 0fea0cb75a25
│   ├── 0                              
│   │   ├── 00000.png
│   │   └── ....
│   │
│   └── ....
│
└── ....

训练

首先,下载骨干网络权重(model_final_86143f.pkl)并使用脚本进行转换:

wget https://dl.fbaipublicfiles.com/maskformer/mask2former/coco/instance/maskformer2_swin_tiny_bs16_50ep/model_final_86143f.pkl
python tools/process_ckpt.py

然后开始训练:

python train_net_lmpm.py \
    --config-file configs/lmpm_SWIN_bs8.yaml \
    --num-gpus 8 --dist-url auto \
    MODEL.WEIGHTS [权重路径] \
    OUTPUT_DIR [权重路径]

注意:我们还通过提供ReferFormer_dataset.py支持训练ReferFormer

模型

我们在MeViS数据集的Val<sup>u</sup>集和Val集上的结果。

Val<sup>u</sup>集用于用户自行离线评估,如进行消融研究
Val集用于MeViS数据集组织者在CodaLab上进行在线评估

<table border="0.6"> <tbody> <tr> <th rowspan="2" align="center" bgcolor="BBBBBB">骨干网络</th> <th colspan="3" align="center" bgcolor="BBBBBB">Val<sup>u</sup></th> <th colspan="3" align="center" bgcolor="BBBBBB">Val</th> </tr> <tr> <td align="center" bgcolor="E5E5E5">J&F</td> <td align="center" bgcolor="E5E5E5">J</td> <td align="center" bgcolor="E5E5E5">F</td> <td align="center" bgcolor="E5E5E5">J&F</td> <td align="center" bgcolor="E5E5E5">J</td> <td align="center" bgcolor="E5E5E5">F</td> </tr> <tr> <td align="center" bgcolor="E5E5E5">Swin-Tiny & RoBERTa</td> <td align="center" bgcolor="E5E5E5">40.23</td> <td align="center" bgcolor="E5E5E5">36.51</td> <td align="center" bgcolor="E5E5E5">43.90</td> <td align="center" bgcolor="E5E5E5">37.21</td> <td align="center" bgcolor="E5E5E5">34.25</td> <td align="center" bgcolor="E5E5E5">40.17</td> </tr> </tbody> <colgroup> <col> <col> <col> <col> <col> <col> <col> <col> <col> </colgroup> </table>

☁️ 谷歌云盘

致谢

本项目基于 VITA、GRES、Mask2Former 和 VLT。非常感谢这些作者的杰出工作！

BibTeX

如果 MeViS 对您的研究有帮助，请考虑引用。

@inproceedings{MeViS,
  title={{MeViS}: A Large-scale Benchmark for Video Segmentation with Motion Expressions},
  author={Ding, Henghui and Liu, Chang and He, Shuting and Jiang, Xudong and Loy, Chen Change},
  booktitle={ICCV},
  year={2023}
}

@inproceedings{GRES,
  title={{GRES}: Generalized Referring Expression Segmentation},
  author={Liu, Chang and Ding, Henghui and Jiang, Xudong},
  booktitle={CVPR},
  year={2023}
}

@article{VLT,
  title={{VLT}: Vision-language transformer and query generation for referring segmentation},
  author={Ding, Henghui and Liu, Chang and Wang, Suchen and Jiang, Xudong},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  year={2023},
  publisher={IEEE}
}

MeViS 中的大多数视频来自 MOSE: Complex Video Object Segmentation Dataset。

@inproceedings{MOSE,
  title={{MOSE}: A New Dataset for Video Object Segmentation in Complex Scenes},
  author={Ding, Henghui and Liu, Chang and He, Shuting and Jiang, Xudong and Torr, Philip HS and Bai, Song},
  booktitle={ICCV},
  year={2023}
}