AdelaiDet

截至2024年1月，CloudStor服务器已关闭。模型文件现托管在huggingface上：

https://huggingface.co/ZjuCv/AdelaiDet/tree/main https://huggingface.co/tianzhi/AdelaiDet-FCOS/tree/main https://huggingface.co/tianzhi/AdelaiDet-CondInst/tree/main https://huggingface.co/tianzhi/AdelaiDet-BoxInst/tree/main

AdelaiDet是基于Detectron2的开源工具箱，用于多个实例级识别任务。我们团队的所有实例级识别工作都在此开源。

目前，AdelaiDet实现了以下算法：

模型

基于FCOS的COCO目标检测基准

名称	推理时间	框AP	下载
FCOS_R_50_1x	16 FPS	38.7	模型
FCOS_MS_R_101_2x	12 FPS	43.1	模型
FCOS_MS_X_101_32x8d_2x	6.6 FPS	43.9	模型
FCOS_MS_X_101_32x8d_dcnv2_2x	4.6 FPS	46.6	模型
FCOS_RT_MS_DLA_34_4x_shtw	52 FPS	39.1	模型

更多模型可以在FCOS的README.md中找到。

基于BlendMask的COCO实例分割基准

模型	名称	推理时间	框AP	掩码AP	下载
Mask R-CNN	R_101_3x	10 FPS	42.9	38.6
BlendMask	R_101_3x	11 FPS	44.8	39.5	模型
BlendMask	R_101_dcni3_5x	10 FPS	46.8	41.1	模型

更多模型和信息，请参考BlendMask的README.md。

基于MEInst的COCO实例分割基准

名称	推理时间	框AP	掩码AP	下载
MEInst_R_50_3x	12 FPS	43.6	34.5	模型

更多模型和信息，请参考MEInst的README.md。

使用ABCNet的Total_Text结果

名称	推理时间	端到端hmean	检测hmean	下载
v1-totaltext	11 FPS	67.1	86.0	模型
v2-totaltext	7.7 FPS	71.8	87.2	模型

更多模型和信息，请参考ABCNet的README.md。

使用CondInst的COCO实例分割基准

名称	推理时间	边界框AP	掩码AP	下载
CondInst_MS_R_50_1x	14 FPS	39.7	35.7	模型
CondInst_MS_R_50_BiFPN_3x_sem	13 FPS	44.7	39.4	模型
CondInst_MS_R_101_3x	11 FPS	43.3	38.6	模型
CondInst_MS_R_101_BiFPN_3x_sem	10 FPS	45.7	40.2	模型

更多模型和信息，请参考CondInst的README.md。

注意：

所有项目的推理时间都是在NVIDIA 1080Ti上使用批量大小为1进行测量的。
除非特别说明，AP值都是在COCO2017验证集上评估的。

安装

首先按照官方指南安装Detectron2：INSTALL.md。

如果遇到任何与Detectron2相关的问题，请使用提交ID为9eb4831的Detectron2版本。

然后通过以下命令构建AdelaiDet：

git clone https://github.com/aim-uofa/AdelaiDet.git
cd AdelaiDet
python setup.py build develop

如果你使用Docker，可以通过以下命令拉取预构建的镜像：

docker pull tianzhi0549/adet:latest

某些项目可能需要特殊设置，请按照configs中各自的README.md进行操作。

快速开始

使用预训练模型进行推理

选择一个模型及其配置文件，例如fcos_R_50_1x.yaml。
下载模型：wget https://huggingface.co/tianzhi/AdelaiDet-FCOS/resolve/main/FCOS_R_50_1x.pth?download=true -O fcos_R_50_1x.pth
运行演示：

python demo/demo.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --input input1.jpg input2.jpg \
    --opts MODEL.WEIGHTS fcos_R_50_1x.pth

训练自己的模型

要使用"train_net.py"训练模型，首先按照datasets/README.md设置相应的数据集，然后运行：

OMP_NUM_THREADS=1 python tools/train_net.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --num-gpus 8 \
    OUTPUT_DIR training_dir/fcos_R_50_1x

要在训练后评估模型，运行：

OMP_NUM_THREADS=1 python tools/train_net.py \
    --config-file configs/FCOS-Detection/R_50_1x.yaml \
    --eval-only \
    --num-gpus 8 \
    OUTPUT_DIR training_dir/fcos_R_50_1x \
    MODEL.WEIGHTS training_dir/fcos_R_50_1x/model_final.pth

注意：

配置文件是为8-GPU训练设计的。如果要在其他数量的GPU上训练，请更改--num-gpus。
如果要测量推理时间，请将--num-gpus更改为1。
我们默认设置OMP_NUM_THREADS=1，这在我们的机器上能达到最佳速度，请根据需要进行更改。
这个快速开始是为FCOS设计的。如果你使用其他项目，请查看configs中各项目自己的README.md。

致谢

作者感谢Nvidia、华为诺亚方舟实验室、字节跳动和Adobe在过去几年中慷慨捐赠的GPU计算资源。

引用AdelaiDet

如果你在研究中使用了这个工具箱或希望引用这里发布的基准结果，请使用以下BibTeX条目：


@misc{tian2019adelaidet,
  author =       {Tian, Zhi and Chen, Hao and Wang, Xinlong and Liu, Yuliang and Shen, Chunhua},
  title =        {{AdelaiDet}: A Toolbox for Instance-level Recognition Tasks},
  howpublished = {\url{https://git.io/adelaidet}},
  year =         {2019}
}

以及相关出版物：

undefined

@inproceedings{tian2019fcos, title = {{FCOS}: 全卷积单阶段目标检测}, author = {Tian, Zhi 和 Shen, Chunhua 和 Chen, Hao 和 He, Tong}, booktitle = {国际计算机视觉会议论文集 (ICCV)}, year = {2019} }

@article{tian2021fcos, title = {{FCOS}: 一种简单而强大的无锚点目标检测器}, author = {Tian, Zhi 和 Shen, Chunhua 和 Chen, Hao 和 He, Tong}, journal = {IEEE模式分析与机器智能汇刊 (TPAMI)}, year = {2021} }

@inproceedings{chen2020blendmask, title = {{BlendMask}: 自顶向下与自底向上相结合的实例分割方法}, author = {Chen, Hao 和 Sun, Kunyang 和 Tian, Zhi 和 Shen, Chunhua 和 Huang, Yongming 和 Yan, Youliang}, booktitle = {IEEE计算机视觉与模式识别会议论文集 (CVPR)}, year = {2020} }

@inproceedings{zhang2020MEInst, title = {单次实例分割的掩码编码}, author = {Zhang, Rufeng 和 Tian, Zhi 和 Shen, Chunhua 和 You, Mingyu 和 Yan, Youliang}, booktitle = {IEEE计算机视觉与模式识别会议论文集 (CVPR)}, year = {2020} }

@inproceedings{liu2020abcnet, title = {{ABCNet}: 基于自适应贝塞尔曲线网络的实时场景文本检测}, author = {Liu, Yuliang 和 Chen, Hao 和 Shen, Chunhua 和 He, Tong 和 Jin, Lianwen 和 Wang, Liangwei}, booktitle = {IEEE计算机视觉与模式识别会议论文集 (CVPR)}, year = {2020} }

@ARTICLE{9525302, author={Liu, Yuliang 和 Shen, Chunhua 和 Jin, Lianwen 和 He, Tong 和 Chen, Peng 和 Liu, Chongyu 和 Chen, Hao}, journal={IEEE模式分析与机器智能汇刊}, title={ABCNet v2: 用于实时端到端文本检测的自适应贝塞尔曲线网络}, year={2021}, volume={}, number={}, pages={1-1}, doi={10.1109/TPAMI.2021.3107437} }

@inproceedings{wang2020solo, title = {{SOLO}: 基于位置的目标分割}, author = {Wang, Xinlong 和 Kong, Tao 和 Shen, Chunhua 和 Jiang, Yuning 和 Li, Lei}, booktitle = {欧洲计算机视觉会议论文集 (ECCV)}, year = {2020} }

@inproceedings{wang2020solov2, title = {{SOLOv2}: 动态快速实例分割}, author = {Wang, Xinlong 和 Zhang, Rufeng 和 Kong, Tao 和 Li, Lei 和 Shen, Chunhua}, booktitle = {神经信息处理系统进展会议论文集 (NeurIPS)}, year = {2020} }

@article{wang2021solo, title = {{SOLO}: 一个简单的实例分割框架}, author = {Wang, Xinlong 和 Zhang, Rufeng 和 Shen, Chunhua 和 Kong, Tao 和 Li, Lei}, journal = {IEEE模式分析与机器智能汇刊 (TPAMI)}, year = {2021} }

@article{tian2019directpose, title = {{DirectPose}: 直接端到端多人姿态估计}, author = {Tian, Zhi 和 Chen, Hao 和 Shen, Chunhua}, journal = {arXiv预印本 arXiv:1911.07451}, year = {2019} }

@inproceedings{tian2020conditional, title = {用于实例分割的条件卷积}, author = {Tian, Zhi 和 Shen, Chunhua 和 Chen, Hao}, booktitle = {欧洲计算机视觉会议论文集 (ECCV)}, year = {2020} }

@article{CondInst2022Tian, title = {使用条件卷积进行实例和全景分割}, author = {Tian, Zhi 和 Zhang, Bowen 和 Chen, Hao 和 Shen, Chunhua}, journal = {IEEE模式分析与机器智能汇刊 (TPAMI)}, year = {2022} }

@inproceedings{tian2021boxinst, title = {{BoxInst}: 基于框注释的高性能实例分割}, author = {Tian, Zhi 和 Shen, Chunhua 和 Wang, Xinlong 和 Chen, Hao}, booktitle = {IEEE计算机视觉与模式识别会议论文集 (CVPR)}, year = {2021} }

@inproceedings{wang2021densecl, title = {用于自监督视觉预训练的密集对比学习}, author = {Wang, Xinlong 和 Zhang, Rufeng 和 Shen, Chunhua 和 Kong, Tao 和 Li, Lei}, booktitle = {IEEE计算机视觉与模式识别会议论文集 (CVPR)}, year = {2021} }

@inproceedings{Mao2021pose, title = {{FCPose}: 基于动态实例感知卷积的全卷积多人姿态估计}, author = {Mao, Weian 和 Tian, Zhi 和 Wang, Xinlong 和 Shen, Chunhua}, booktitle = {IEEE计算机视觉与模式识别会议论文集 (CVPR)}, year = {2021} }

许可证

对于学术用途，本项目采用2条款BSD许可证 - 详情请见LICENSE文件。对于商业用途，请联系 Chunhua Shen。