识别任意区域

识别任意区域
Haosen Yang, Chuofan Ma, Bin Wen, Yi Jiang, Zehuan Yuan, Xiatian Zhu

更新

• 2023/11/7: 检查点现已在 Google Drive 和 OneDrive 上可用。
• 2023/11/6: 代码现已发布！

模型

入门

安装说明和使用方法请参见识别任意区域入门指南。

演示

首先下载模型检查点。然后只需几行代码就可以使用模型从给定提示获取掩码：

from regionspot.modeling.regionspot import build_regionspot_model
from regionspot import RegionSpot_Predictor
custom_vocabulary =  ['<custom>']
clip_type = <clip_type>
regionspot = build_regionspot_model(checkpoint="<path/to/checkpoint>", custom_vocabulary=custom_vocabulary, clip_type=clip_type)
predictor = RegionSpot_Predictor(regionspot)
predictor.set_image(<your_image>)
masks, mask_iou_score, class_score, class_index = predictor.predict(<input_prompts>)

有关使用框提示的RegionSpot的更多详细信息，请参见demo.py。

引用识别任意区域

如果您在研究中使用了识别任意区域或希望引用此处发布的基线结果，请使用以下BibTeX条目。

@inproceedings{RegionSpot,
  title={Recognize Any Regions},
  author={Yang, Haosen and Ma, Chuofan and Wen, Bin and Jiang, Yi and Yuan, Zehuan and Zhu, Xiatian},
  journal={arXiv preprint arXiv:2311.01373},
  year={2023}
}