gRefCOCO - [CVPR2023 亮点]GRES：广义指代表达分割数据集

本仓库包含了gRefCOCO数据集的相关信息和工具，该数据集由CVPR2023亮点论文提出：

GRES：广义指代表达分割
刘畅, 丁恒辉, 姜旭东
CVPR 2023 亮点论文, 接收率2.5%

gRefCOCO数据集下载

⬇️ 从以下链接获取gRefCOCO数据集：

☁️ OneDrive

使用方法

与RefCOCO类似，gRefCOCO也需要与MS COCO的train2014图像一同使用。
我们提供了一个数据加载器示例grefer.py。
我们将很快更新完整的API包和文档。目前请参考基线代码中的使用方法。

任务1 - GREC：广义指代表达理解

GREC评估指标代码在这里。
我们提供了基于MDETR的代码，其训练和推理步骤如下：

训练（微调）

将grefcoco处理成coco格式。

python scripts/fine-tuning/grefexp_coco_format.py --data_path xxx --out_path mdetr_annotations/ --coco_path xxx

训练并从MDETR下载pretrained_resnet101_checkpoint.pth

python -m torch.distributed.launch --nproc_per_node=2 --use_env main.py --dataset_config configs/grefcoco.json --batch_size 4  --load pretrained_resnet101_checkpoint.pth  --ema --text_encoder_lr 1e-5 --lr 5e-5 --output-dir grefcoco

推理

获取训练后的checkpoint.pth或从这里☁️ Google Drive下载已训练的模型
对于测试结果，传递--test和--test_type test或testA或testB，具体取决于数据集。

python -m torch.distributed.launch --nproc_per_node=2 --use_env main.py --dataset_config configs/grefcoco.json --batch_size 4  --resume grefcoco/checkpoint.pth --ema --eval

任务2 - GRES：广义指代表达分割

更多详情请参考ReLA。

致谢

我们的项目基于refer和cocoapi构建。非常感谢这些作者的杰出工作！

引用

如果GRES/GREC对您的研究有帮助，请考虑引用它们。

@inproceedings{GRES,
  title={{GRES}: Generalized Referring Expression Segmentation},
  author={Liu, Chang and Ding, Henghui and Jiang, Xudong},
  booktitle={CVPR},
  year={2023}
}
@article{GREC,
  title={{GREC}: Generalized Referring Expression Comprehension},
  author={He, Shuting and Ding, Henghui and Liu, Chang and Jiang, Xudong},
  journal={arXiv preprint arXiv:2308.16182},
  year={2023}
}

我们还推荐其他高度相关的工作：

@article{VLT,
  title={{VLT}: Vision-language transformer and query generation for referring segmentation},
  author={Ding, Henghui and Liu, Chang and Wang, Suchen and Jiang, Xudong},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  year={2023},
  volume={45},
  number={6},
  publisher={IEEE}
}
@inproceedings{MeViS,
  title={{MeViS}: A Large-scale Benchmark for Video Segmentation with Motion Expressions},
  author={Ding, Henghui and Liu, Chang and He, Shuting and Jiang, Xudong and Loy, Chen Change},
  booktitle={ICCV},
  year={2023}
}