伪装物体检测 (CVPR2020-口头报告)

作者: 樊登平, 纪戈鹏, 孙国磊, 程明明, 沈剑兵, 邵凌.

0. 前言

欢迎加入COD社区! 我们创建了一个微信群,你可以通过添加联系人(微信ID:CVer222)加入。请附上你的单位。
本仓库包括详细介绍、强大的基准模型(搜索与识别网络,SINet)以及一键评估代码,用于伪装物体检测(COD)。
欲了解更多关于伪装物体检测的信息,请访问我们的项目主页并阅读论文(PDF) / 中文版(PDF)。
如果你对我们的论文有任何问题,请随时通过电子邮件联系樊登平或纪戈鹏。如果你在研究中使用SINet或评估工具箱,请引用本文。

0.1. :fire: 新闻 :fire:

[2021/07/07] :boom: SINet的最新增强版本即将发布,该版本已被IEEE TPAMI 2022接收(论文 | GitHub)。SINet-V2可以在保持实时推理的同时,大幅超越现有COD方法的性能。
[2020/10/22] :boom: 训练代码可通过电子邮件(dengpfan@gmail.com)获取。 请提供你的姓名和单位。请注意代码仅可用于研究目的。
[2020/11/21] 更新评估工具: Bi_cam(cam>threshold)=1 -> Bi_cam(cam>=threshold)=1;
[2020/10/22] 对于等式(4): j = k+1, M -> j = m, k-1。 (注意m是特定层,在我们的论文中应等于1)。
[2020/09/09] SINet是开放基准网站(https://paperswithcode.com/task/camouflaged-object-segmentation)上的最佳方法。
[2020/08/27] 更新了表3的描述(基线模型使用训练设置(iii)而非(iv)进行训练)。
[2020/08/05] 在线演示已发布! (http://mc.nankai.edu.cn/cod)。
[2020/06/11] 我们重新组织了训练集,列在2.2. 使用部分,请重新下载。
[2020/05/05] :boom: 发布测试代码。
[2020/04/25] 训练/测试代码即将更新...

0.2. 目录

伪装物体检测 (CVPR2020-口头报告)

0.3. 文件结构

SINet
├── EvaluationTool
│   ├── CalMAE.m
│   ├── Enhancedmeasure.m
│   ├── Fmeasure_calu.m
│   ├── main.m
│   ├── original_WFb.m
│   ├── S_object.m
│   ├── S_region.m
│   └── StructureMeasure.m
├── Images
│   ├── CamouflagedTask.png
│   ├── CamouflagingFromMultiView.png
│   ├── CmpResults.png
│   ├── COD10K-2.png
│   ├── COD10K-3.png
│   ├── COVID'19-Infection.png
│   ├── locust detection.png
│   ├── new_score_1.png
│   ├── PolypSegmentation.png
│   ├── QuantitativeResults-new.png
│   ├── SampleAquaticAnimals.png
│   ├── Search-and-Rescue.png
│   ├── SINet.png
│   ├── SubClassResults-1.png
│   ├── SubClassResults.png
│   ├── Surface defect Detection2.png
│   ├── TaskRelationship.png
│   ├── Telescope.png
│   └── UnderwaterEnhancment.png
├── MyTest.py
├── README.md
├── requirement.txt
└── Src
    ├── backbone
    ├── __init__.py
    ├── SearchAttention.py
    ├── SINet.py
    └── utils

1. 任务关系

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/91728cda-bf1c-4ff1-a500-8044851e6b93.png"/> 图1: 任务关系。给定一张输入图像(a),我们展示了(b)全景分割(检测包括背景和物体在内的通用对象)、(c)显著性目标检测(检测吸引人注意力的孤立目标)以及(d)提出的隐蔽目标检测任务的真实标注,其目标是检测具有与自然栖息地相似模式的物体。在这个例子中,两只蝴蝶的边界与香蕉融为一体,使它们难以识别。 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/c6a8e630-7890-469f-8a55-a2d0bf619929.png"/> 图2: 给定一张输入图像(a),我们展示了(b)全景分割(检测通用物体包括背景和物体)、(c)显著实例/物体检测(检测吸引人类注意力的物体)和(d)所提出的伪装物体检测任务的真值图,该任务的目标是检测与自然栖息地具有相似模式(如边缘、纹理或颜色)的物体。在这个例子中,两只蝴蝶的边界与香蕉融为一体,使它们难以识别。这项任务比传统的显著物体检测或通用物体检测要困难得多。

显著物体检测(SOD)基准工作的参考文献 [1] 视频SOD: 将更多注意力转移到视频显著物体检测上。CVPR, 2019。(项目主页) [2] RGB SOD: 杂乱中的显著物体:将显著物体检测带到前景。ECCV, 2018。(项目主页) [3] RGB-D SOD: 重新思考RGB-D显著物体检测:模型、数据集和大规模基准。TNNLS, 2020。(项目主页) [4] 协同SOD: 深入研究协同显著物体检测。CVPR, 2020。(项目主页)

2. 提出的基线方法

2.1. 概述

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/83f01a99-2013-4e85-9717-233a5ad93b84.png"/> 图3: 我们的SINet框架概述,包括两个主要组件:感受野(RF)和部分解码器组件(PDC)。RF旨在模仿人类视觉系统中RF的结构。PDC重现了动物捕食的搜索和识别阶段。SA = [71]中描述的搜索注意力函数。详见第4节。

2.2. 使用方法

训练和测试实验使用PyTorch在一块24GB显存的GeForce RTX TITAN GPU上进行。

注意,我们的模型也支持低内存GPU,这意味着你可以降低批次大小 (在apex-mode=O1模式下每张图像约419 MB,在apex-mode=O2模式下每张图像约305 MB)

配置环境(先决条件):

注意,SINet仅在具有以下环境的Ubuntu操作系统上进行了测试。它可能也适用于其他操作系统,但我们不能保证。
- 在终端中创建虚拟环境:conda create -n SINet python=3.6。
- 安装必要的包:pip install -r requirements.txt。
- (可选:仅用于训练)安装NVIDIA-Apex 以使用混合精度加速训练过程。 (安装说明) (在CUDA-10.0和Cudnn-7.4下)。
下载训练和测试集:
- 下载新的测试数据集(COD10K-test + CAMO-test + CHAMELEON)并将其移动到./Dataset/TestDataset/, 可以在这个Google Drive链接或百度网盘链接(提取码:z83z)中找到。
- 下载新的训练数据集(COD10K-train),可以在这个Google Drive链接或百度网盘链接(提取码:djq2)中找到。请参考我们的原始论文了解其他训练数据。
测试配置:
- 下载所有预训练模型和测试数据后,只需运行MyTest.py即可生成最终的预测图: 替换你的训练模型目录(--model_path)并指定推理掩码的保存目录(--test_save)
- 请注意,我们重新训练了我们的模型(在下图中标记为$\diamondsuit$),采用Apex库的混合训练策略(mode=O1), 在40个epoch后获得了更好的性能。这里我们提供了一个新的预训练模型 (百度网盘 [提取码:2pp2]/Google Drive)。之后,我们将尝试基于不同骨干网络的SINet来提高性能, 并提供更全面的比较。
 <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/93def995-0c20-48a5-a66d-07079bee7183.png"/>
评估你训练的模型:
- 一键评估使用MATLAB代码编写(修改自链接), 请按照main.m中的说明操作,只需运行它即可在 ./EvaluationTool/EvaluationResults/Result-CamObjDet/中生成评估结果。

3. 结果

3.1. 定性比较

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/577b8410-d889-489e-9eb5-738677992490.png"/> 图4: 我们的SINet和两个表现最佳的基线方法在COD10K上的定性结果。详情请参阅我们的论文。

3.2. 定量比较(总体/子类)

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/aab0a00e-349b-456d-a575-43e84fc57454.png"/> 表1：不同数据集上的定量结果。最佳得分以粗体突出显示。 <img width="860" height="1060" src="https://yellow-cdn.veclightyear.com/0a4dffa0/a74fab4d-eeb4-4812-ba9b-85b35872c028.png"/> 表2：我们COD10K数据集中各子类的结构度量(Sα)定量结果-(1/2)。每个类别的最佳得分以粗体突出显示。 <img width="850" height="1050" src="https://yellow-cdn.veclightyear.com/0a4dffa0/4887d60b-4cd3-4fba-83a6-49a3d6257e52.png"/> 表3：我们COD10K数据集中各子类的结构度量(Sα)定量结果-(2/2)。每个类别的最佳得分以粗体突出显示。

3.3. 结果下载

我们SINet的结果可在此下载链接中找到。
对比方法的性能可在此下载链接中找到。

4. 提出的COD10K数据集

<img width="850" height="750" src="https://yellow-cdn.veclightyear.com/0a4dffa0/6c8725d5-6d60-4618-9878-8ec8a38a8577.png"/> 图5：从我们的COD10K中提取的20个子类的个体样本(2/5)–水生动物。 <img width="850" height="680" src="https://yellow-cdn.veclightyear.com/0a4dffa0/ccb3a961-a018-4b34-b9d4-6b543e808c1f.png"/> 图6：提出的COD10K数据集中注释的多样性和细致程度。与先前工作中仅提供粗粒度对象级注释(存在三种主要偏差，如水印嵌入、粗糙注释和遮挡)不同，我们提供了六种不同的注释，包括边缘级(第4行)、对象级(第5行)、实例级(第6行)、边界框(第7行)和属性(第8行)。更多属性详情请参阅论文。 <img width="850" height="440" src="https://yellow-cdn.veclightyear.com/0a4dffa0/016338b1-5de8-45f4-9e9f-2a87e99f225b.png"/> 图7：我们标注重新验证阶段的规范化质量控制。严格遵守四个主要的拒绝或接受标准，以接近注释准确性的上限。

COD10K数据集：百度网盘提取码：aq4i | 谷歌云盘

5. 评估工具箱

我们提供了完整且公平的一键式评估工具箱，用于在统一标准内进行基准测试。更多信息请参考以下链接： Matlab版本：https://github.com/DengPingFan/CODToolbox Python版本：https://github.com/lartpang/PySODMetrics

6. 潜在应用

医疗（息肉分割和COVID-19感染分割诊断）更多详情请参考此页面(https://github.com/DengPingFan/Inf-Net)。

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/cd003ec9-b5a6-4388-882e-0a5cacdbb9a1.png"/> 图8：肺部感染分割。 <img width="600" height="230" src="https://raw.githubusercontent.com/DengPingFan/SINet/master/Images/COVID'19-Infection.png"/> 图9：CT轴向切片中COVID-19感染区域的示例，其中红色和绿色区域分别表示磨玻璃影和实变。图片来源于此处。（COVID-19 CT分割数据集（链接：https://medicalsegmentation.com/covid19/，访问时间：2020-04-11）。）

农业（蝗虫检测以防止入侵）

<img width="600" height="230" src="https://yellow-cdn.veclightyear.com/0a4dffa0/3517db5d-2251-4b32-a62a-bae1672dd5e6.png"/> 图10：蝗灾检测。

艺术（例如，用于逼真的图像混合或娱乐艺术）

<img width="600" height="230" src="https://yellow-cdn.veclightyear.com/0a4dffa0/3e094d1e-5982-43b7-9ad1-bab3e04832dd.png"/> 图11：答案可在此处找到（从多个视角对物体进行伪装，CVPR 2014。）

计算机视觉（例如，用于搜索和救援工作，或稀有物种发现）

<img width="600" height="230" src="https://yellow-cdn.veclightyear.com/0a4dffa0/039eb4d0-df1b-4c70-9257-176913db204f.png"/> 图13：搜索和救援以拯救生命。

水下图像增强

<img width="2014" height="320" src="https://yellow-cdn.veclightyear.com/0a4dffa0/961c6ff1-b1bb-44af-8fda-255618333be7.png"/> 图14：更多详情请参考"一个水下图像增强基准数据集及其他，TIP2019"。

表面缺陷检测

<img width="1000" height="320" src="https://yellow-cdn.veclightyear.com/0a4dffa0/752f87ed-067c-46ec-9524-0912ea4bc355.png"/> 图15：更多详细信息请参考"基于纹理分析技术的表面缺陷检测最新进展综述，2008年"。

7. 用户研究测试

--> 点击此处探索更多有趣内容（YouTube链接） <--

8. 引用

如果您认为本工作有用，请引用我们的论文：

@inproceedings{fan2020Camouflage,
title={Camouflaged Object Detection},
author={Fan, Deng-Ping and Ji, Ge-Peng and Sun, Guolei and Cheng, Ming-Ming and Shen, Jianbing and Shao, Ling},
booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
year={2020}
}