MIC: 用于增强上下文的域适应的掩码图像一致性

作者： Lukas Hoyer、 Dengxin Dai、 Haoran Wang 和 Luc Van Gool

:bell: 新闻：

[2024-07-03] 我们很高兴地宣布，我们关于基于视觉-语言引导的半监督语义分割的工作 SemiVL 被 ECCV24 接受。
[2024-07-03] 我们很高兴地宣布，我们关于用于域泛化语义分割的图像扩散的后续工作 DGInStyle 被 ECCV24 接受。
[2023-09-26] 我们很高兴地宣布，我们关于域泛化和清晰到恶劣天气UDA的 DAFormer/HRDA 扩展被 PAMI 接受。
[2023-08-25] 我们很高兴地宣布，我们关于全景分割UDA的工作 EDAPS 被 ICCV23 接受。
[2023-02-28] 我们很高兴地宣布，MIC 被 CVPR23 接受。

概述

在无监督域适应（UDA）中，在源数据（如合成数据）上训练的模型被适应到目标数据（如真实世界数据）上，而无需访问目标注释。大多数以前的UDA方法在处理目标域上视觉外观相似的类别时存在困难，因为没有可用的真实标签来学习细微的外观差异。为解决这个问题，我们提出了掩码图像一致性（MIC）模块，通过学习目标域的空间上下文关系作为额外线索来增强UDA，从而实现稳健的视觉识别。

MIC强制保持掩码目标图像（随机遮挡部分图像区域）的预测与基于完整图像生成的伪标签之间的一致性，这些伪标签由指数移动平均教师生成。为了最小化一致性损失，网络必须学会从上下文推断被掩码区域的预测。

由于其简单且通用的概念，MIC可以集成到各种UDA方法中，适用于不同的视觉识别任务，如图像分类、语义分割和目标检测。MIC显著提高了不同识别任务在合成到真实、白天到夜晚以及清晰到恶劣天气UDA方面的最先进性能。例如，MIC在GTA→Cityscapes和VisDA-2017上分别达到了前所未有的75.9 mIoU和92.8%的UDA性能，相比之前的最佳水平分别提高了2.1和3.0个百分点。

改进的域适应性能也反映在GTA→Cityscapes、Cityscapes→ACDC和Cityscapes→Foggy Cityscapes的示例预测中，如下所示。

MIC 演示色彩调色板

有关MIC的更多信息，请查看我们的[论文]。

如果您在研究中发现MIC有用，请考虑引用：

@InProceedings{hoyer2023mic,
  title={{MIC}: Masked Image Consistency for Context-Enhanced Domain Adaptation},
  author={Hoyer, Lukas and Dai, Dengxin and Wang, Haoran and Van Gool, Luc},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year={2023}
}