DDPM-CD: 去噪扩散概率模型作为变化检测的特征提取器

(原标题: DDPM-CD: 利用去噪扩散概率模型进行遥感变化检测)

Wele Gedara Chaminda Bandara, Nithin Gopalakrishnan Nair, Vishal M. Patel

DDPM-CD: 去噪扩散概率模型作为变化检测的特征提取器 / 利用去噪扩散概率模型进行遥感变化检测的官方 Pytorch 实现

论文最新版本

更新:

:exclamation: 论文第三版: 我们已经(全面)修订了论文的写作。请参阅 arxiv 上的 v3。

1. 动机和贡献

图片-20210228153142126

从预先在现成遥感图像上训练的 DDPM 模型中采样的图像。

从预先在现成遥感图像上训练的扩散模型生成的图像。
生成的图像展示了在真实遥感图像中通常观察到的常见对象，包括建筑物、树木、道路、植被、水面等。
这展示了扩散模型从训练数据集中掌握基本语义的卓越能力。
尽管我们的主要关注点不是图像合成，我们探索了 DDPM 作为变化检测特征提取器的有效性。

2. 方法

图片-20210228153142126

我们利用预训练 DDPM 产生的特征表示以及变化标签来微调轻量级变化分类器

3. 使用方法

3.1 要求

在使用此存储库之前，请确保已安装以下先决条件：

您可以使用以下命令安装 PyTorch（在 Linux 操作系统中）:

conda install pytorch torchvision pytorch-cuda=11.8 -c pytorch -c nvidia

3.2 安装

首先，克隆此存储库：

git clone https://github.com/wgcban/ddpm-cd.git

接下来，通过执行以下命令创建名为 ddpm-cd 的 conda 环境：

conda env create -f environment.yml

然后激活环境：

conda activate ddpm-cd

下载数据集并将它们放在 dataset 文件夹中。->查看第 5.1 节获取下载链接。

如果您只想进行测试，下载预训练的 DDPM 和微调的 DDPM-CD 模型，并将它们放在 experiments 文件夹中。->查看第 7 节获取链接。

所有训练-验证-测试统计数据将自动上传到 wandb，如果您不熟悉使用 wandb，请参阅 wandb-quick-start 文档。

4. 预训练 DDPM

4.1 收集现成遥感数据以训练扩散模型

将从 Google Earth Engine 采样的所有遥感数据和任何其他公开可用的遥感图像转储到数据集文件夹或创建一个符号链接。

4.2 预训练/恢复（无条件）DDPM

我们使用 ddpm_train.json 来设置配置。在 json 文件中更新数据集 name 和 dataroot。然后运行以下命令开始训练扩散模型。结果和日志文件将保存到 experiments 文件夹。此外，我们将所有指标上传到 wandb。

python ddpm_train.py --config config/ddpm_train.json -enable_wandb -log_eval

如果您想从之前保存的点恢复训练，请在 path/resume_state 中提供保存模型的路径，否则将其保持为 null。

4.3 从预训练的DDPM采样

如果您想从预训练的DDPM生成样本，首先在[path][resume_state]中更新训练好的扩散模型的路径。然后运行以下命令。

python ddpm_train.py --config config/ddpm_sampling.json --phase val

生成的图像将保存在experiments中。

5. 变化检测的微调

5.1 下载变化检测数据集

从以下链接下载变化检测数据集。将它们放在您的datasets文件夹中。

然后，在levir.json、whu.json、dsifn.json和cdd.json中更新这些文件夹的路径：[datasets][train][dataroot]、[datasets][val][dataroot]、[datasets][test][dataroot]。

5.2 提供预训练扩散模型的路径

在levir.json、whu.json、dsifn.json和cdd.json中的[path][resume_state]更新预训练扩散模型权重（*_gen.pth和*_opt.pth）的路径。

5.3 指定用于特征提取的时间步

在[model_cd][t]中指定用于提取特征表示的时间步。如论文的消融研究部分所示，我们的最佳模型是使用时间步{50,100,400}获得的。然而，时间步{50,100}也效果很好。

5.4 开始变化检测的微调

运行以下代码开始训练。

在LEVIR-CD上训练：

python ddpm_cd.py --config config/levir.json -enable_wandb -log_eval

在WHU-CD上训练：

python ddpm_cd.py --config config/whu.json -enable_wandb -log_eval

在DSIFN-CD上训练：

python ddpm_cd.py --config config/dsifn.json -enable_wandb -log_eval

在CDD上训练：

python ddpm_cd.py --config config/cdd.json -enable_wandb -log_eval

结果将保存在experiments中，并上传到wandb。

6. 测试

要获得预测结果和性能指标（IoU、F1和OA），首先在levir_test.json、whu_test.json、dsifn_test.json和cdd_test.json中提供预训练扩散模型的路径[path][resume_state]和训练好的变化检测模型（最佳模型）的路径[path_cd][resume_state]。同时确保在[model_cd][t]中指定了微调时使用的时间步。

运行以下代码开始测试。

在LEVIR-CD上测试：

python ddpm_cd.py --config config/levir_test.json --phase test -enable_wandb -log_eval

在WHU-CD上测试：

python ddpm_cd.py --config config/whu_test.json --phase test -enable_wandb -log_eval

在DSIFN-CD上测试：

python ddpm_cd.py --config config/dsifn_test.json --phase test -enable_wandb -log_eval

在CDD上测试：

python ddpm_cd.py --config config/cdd_test.json --phase test -enable_wandb -log_eval

预测结果将保存在experiments中，性能指标将上传到wandb。

7. 预训练模型下载链接

7.1 预训练DDPM

预训练扩散模型可以从以下链接下载：Dropbox

7.2 微调的DDPM-CD模型

可以从以下链接下载微调的变化检测网络：

"t"：[50, 100]
- LEVIR-CD Dropbox-cd-levir-50-100
- WHU-CD Dropbox-cd-whu-50-100
- DSIFN-CD Dropbox-cd-dsifn-50-100
- CDD-CD Dropbox-cd-cdd-50-100
"t"：[50, 100, 400]（最佳模型）
- LEVIR-CD Dropbox-cd-levir-50-100-400
- WHU-CD Dropbox-cd-whu-50-100-400
- DSIFN-CD Dropbox-cd-dsifn-50-100-400
- CDD-CD Dropbox-cd-cdd-50-100-400
"t"：[50, 100, 400, 650]
- LEVIR-CD Dropbox-cd-levir-50-100-400-650
- WHU-CD Dropbox-cd-whu-50-100-400-650
- DSIFN-CD Dropbox-cd-dsifn-50-100-400-650
- CDD-CD Dropbox-cd-cdd-50-100-400-650

7.2 从GoogleDrive/GitHub下载

如果从DropBox下载时遇到问题，请尝试以下选项之一：

[GoogleDrive] GoogleDrive中的所有预训练模型：GoogleDrive-pretrianed-models
[GitHub] GitHub中的预训练模型

7.3 在`wandb`上的训练/验证报告

7.4 在`wandb`上的测试结果

LEVIR-WHU-DSIFN-CDD测试结果

8. 结果

8.1 定量结果

图片-20210228153142126

LEVIR-CD、WHU-CD、DSIFN-CD和CDD测试集上的平均定量变化检测结果。"-"表示未报告或我们无法获得。(IN1k)表示预训练过程使用ImageNet预训练权重初始化。IN1k、IBSD和GE分别指ImageNet1k、Inria建筑分割数据集和谷歌地球。

8.2 定性结果

LEVIR-CD

(a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示。
WHU-CD

(a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示。
DSIFN-CD

(a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示
CDD

(a) 变化前图像，(b) 变化后图像，(c) FC-EF，(d) FC-Siam-diff，(e) FC-Siam-conc，(f) DT-SCN，(g) BIT，(h) ChangeFormer，(i) DDPM-CD（我们的方法），以及(j) 真实标签。注：真阳性（变化类）用白色表示，真阴性（无变化类）用黑色表示，假阳性和假阴性用红色表示

9. 引用

@misc{bandara2024ddpmcdv2,
    title = {使用去噪扩散概率模型进行遥感变化检测（分割）},
    author = {Bandara, Wele Gedara Chaminda and Nair, Nithin Gopalakrishnan and Patel, Vishal M.},
    year = {2022},
    eprint={2206.11892},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    doi = {10.48550/ARXIV.2206.11892},
}

@misc{bandara2024ddpmcdv3,
    title={DDPM-CD：作为变化检测特征提取器的去噪扩散概率模型}, 
    author={Wele Gedara Chaminda Bandara and Nithin Gopalakrishnan Nair and Vishal M. Patel},
    year={2024},
    eprint={2206.11892},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
    doi = {10.48550/ARXIV.2206.11892},
}