扩散、关注和分割

本仓库实现了论文《扩散、关注和分割：使用稳定扩散的无监督零样本分割》中的DiffSeg分割方法。

@article{tian2023diffuse,
  title={扩散、关注和分割：使用稳定扩散的无监督零样本分割},
  author={Tian, Junjiao and Aggarwal, Lavisha and Colaco, Andrea and Kira, Zsolt and Gonzalez-Franco, Mar},
  journal={arXiv预印本 arXiv:2308.12469},
  year={2023}
}

概述

DiffSeg是一种使用稳定扩散模型的注意力信息的无监督零样本分割方法。本仓库实现了主要的DiffSeg算法，并额外包含了一个基于生成的描述为掩码添加语义标签的实验性功能。

更多详细信息可以在项目页面找到：https://sites.google.com/corp/view/diffseg/home

创建conda环境

• 环境使用Ubuntu 18.04和Tensorflow 2.14，支持CUDA 11.x和Python 3.9。

cd diffseg
conda create --name diffseg python=3.9
conda activate diffseg
pip install -r path/to/requirements.txt

计算要求

• 我们建议使用2个至少11G显存的GPU，例如RTX2080Ti。
• 一个GPU用于加载稳定扩散模型，另一个用于BLIP描述模型。

DiffSeg笔记本

请查看diffseg.ipynb中的说明以获取运行指导。

基准测试

我们在CoCo-Stuff-27和Cityscapes上对DiffSeg的性能进行基准测试。请查看benchmarks.ipynb中的说明。

• 我们遵循PiCIE中的评估协议，并使用匈牙利算法来匹配预测和真实标签。

贡献者

• Junjiao Tian（谷歌和佐治亚理工学院）
• Lavisha Aggarwal（谷歌）
• Andrea Colaco（谷歌）
• Zsolt Kira（佐治亚理工学院）
• Mar Gonzalez-Franco（谷歌）