UniMatch

这个代码库包含了半监督语义分割领域中FixMatch的一个强大重新实现，以及我们的UniMatch在**自然场景、遥感和医学场景**中的官方PyTorch实现。

重新审视半监督语义分割中的弱到强一致性 Lihe Yang, Lei Qi, Litong Feng, Wayne Zhang, Yinghuan Shi 发表于2023年计算机视觉与模式识别会议（CVPR）

我们提供了一个半监督语义分割优秀工作列表。

结果

您可以查看我们的训练日志，以便在复现时进行方便的比较。

注意：我们在最终版本中添加并更新了一些结果。请参阅我们的最新版本。

Pascal VOC 2012

标注图像从原始高质量训练集中采样。结果基于ResNet-101的DeepLabv3+，训练尺寸为321。

方法	1/16 (92)	1/8 (183)	1/4 (366)	1/2 (732)	全部 (1464)
SupBaseline	45.1	55.3	64.8	69.7	73.5
U<sup>2</sup>PL	68.0	69.2	73.7	76.2	79.5
ST++	65.2	71.0	74.6	77.3	79.1
PS-MT	65.8	69.6	76.6	78.4	80.0
UniMatch (我们的方法)	75.2	77.2	78.8	79.9	81.2

Cityscapes

结果基于ResNet-50/101的DeepLabv3+。我们在ResNet-50上重现了U2PL的结果。

注意：这些结果与我们的arXiv-V1版本不同，因为我们将置信度阈值从0.95改为0，并将ResNet的输出步幅从8改为16。因此，目前运行效率更高。

您可以点击数字直接跳转到相应的检查点。

ResNet-50	1/16	1/8	1/4	1/2	ResNet-101	1/16	1/8	1/4	1/2
SupBaseline	63.3	70.2	73.1	76.6	SupBaseline	66.3	72.8	75.0	78.0
U<sup>2</sup>PL	70.6	73.0	76.3	77.2	U<sup>2</sup>PL	74.9	76.5	78.5	79.1
UniMatch (我们的方法)	75.0	76.8	77.5	78.6	UniMatch (我们的方法)	76.6	77.9	79.2	79.5

COCO

结果基于Xception-65的DeepLabv3+。

您可以点击数字直接跳转到相应的检查点。

方法	1/512 (232)	1/256 (463)	1/128 (925)	1/64 (1849)	1/32 (3697)
SupBaseline	22.9	28.0	33.6	37.8	42.2
PseudoSeg	29.8	37.1	39.1	41.8	43.6
PC<sup>2</sup>Seg	29.9	37.5	40.1	43.7	46.1
UniMatch (我们的方法)	31.9	38.9	44.4	48.2	49.8

开始使用

安装

cd UniMatch
conda create -n unimatch python=3.10.4
conda activate unimatch
pip install -r requirements.txt
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html

预训练骨干网络

ResNet-50 | ResNet-101 | Xception-65

├── ./pretrained
    ├── resnet50.pth
    ├── resnet101.pth
    └── xception.pth

数据集

请在配置文件中修改您的数据集路径。

真实标签掩码已经由我们预处理过。您可以直接使用它们。

├── [您的Pascal路径]
    ├── JPEGImages
    └── SegmentationClass
    
├── [您的Cityscapes路径]
    ├── leftImg8bit
    └── gtFine
    
├── [您的COCO路径]
    ├── train2017
    ├── val2017
    └── masks

使用方法

UniMatch

# 使用torch.distributed.launch
sh scripts/train.sh <num_gpu> <port>
# 要完全复现我们的结果，<num_gpu>应该在所有三个数据集上设置为4
# 否则，您需要相应地调整学习率

# 或使用slurm
# sh scripts/slurm_train.sh <num_gpu> <port> <partition>

要在其他数据集或分割上进行训练，请修改train.sh中的dataset和split。

FixMatch

在train.sh中将method从'unimatch'修改为'fixmatch'。

监督基线

在train.sh中将method从'unimatch'修改为'supervised'，如果您使用与半监督设置相同数量的GPU，请将配置文件中的batch_size加倍（无需更改lr）。

引用

如果您觉得这个项目有用，请考虑引用：

@inproceedings{unimatch,
  title={Revisiting Weak-to-Strong Consistency in Semi-Supervised Semantic Segmentation},
  author={Yang, Lihe and Qi, Lei and Feng, Litong and Zhang, Wayne and Shi, Yinghuan},
  booktitle={CVPR},
  year={2023}
}

我们还有一些其他关于半监督语义分割的工作：