DiffIR：高效的图像恢复扩散模型（ICCV2023）

新闻

2023年12月19日： 我们提出了基于参考的DiffIR（DiffRIR），以缓解图像编辑（如修复和扩展）过程中生成区域和保留区域之间的纹理、亮度和对比度差异。所有训练和推理代码以及预训练模型（x1、x2、x4）已在Github上发布。
2023年9月10日： 对于真实世界的超分辨率，我们发布了x1和x2预训练模型。
2023年9月6日： 对于真实世界的超分辨率和SRGAN，我们可以测试没有GT图像的LR图像和推理。
2023年8月31日： 对于真实世界的超分辨率和SRGAN任务，我们更新了2倍超分辨率训练文件。
2023年8月28日： 对于真实世界的超分辨率任务，我们发布了更注重感知而非失真的预训练模型RealworldSR-DiffIRS2-GANV2和训练文件，可用于AIGC生成图像的超分辨率。
2023年7月20日： 训练和测试代码以及预训练模型已发布！

<hr />

摘要： 扩散模型（DM）通过将图像合成过程建模为去噪网络的连续应用，实现了最先进的性能。然而，与图像合成不同，图像恢复（IR）有强烈的约束，要求生成的结果与真实图像一致。因此，对于IR来说，传统DM在大型模型上运行大量迭代来估计整个图像或特征图是低效的。为解决这个问题，我们提出了一种高效的IR扩散模型（DiffIR），它由紧凑的IR先验提取网络（CPEN）、动态IR转换器（DIRformer）和去噪网络组成。具体来说，DiffIR有两个训练阶段：预训练和训练DM。在预训练中，我们将真实图像输入CPEN${S1}$以捕获紧凑的IR先验表示（IPR）来指导DIRformer。在第二阶段，我们训练DM仅使用低质量图像直接估计与预训练CPEN${S1}$相同的IRP。我们观察到，由于IPR只是一个紧凑的向量，DiffIR可以使用比传统DM更少的迭代次数来获得准确的估计，并生成更稳定和逼真的结果。由于迭代次数很少，我们的DiffIR可以采用CPEN$_{S2}$、DIRformer和去噪网络的联合优化，这可以进一步减少估计误差的影响。我们在几个IR任务上进行了广泛的实验，在消耗更少计算成本的同时实现了最先进的性能。

安装

对于修复任务，请参见pip.sh以安装运行DiffIR所需的依赖项。

对于基于GAN的单图像超分辨率，请参见pip.sh以安装运行DiffIR所需的依赖项。

对于真实世界的超分辨率，请参见pip.sh以安装运行DiffIR所需的依赖项。

对于运动去模糊，请参见pip.sh以安装运行DiffIR所需的依赖项。

训练和评估

修复、基于GAN的单图像超分辨率、真实世界超分辨率和运动去模糊的训练和测试说明在各自的目录中提供。这里有一个包含超链接的摘要表，方便导航：

<table> <tr> <th align="left">任务</th> <th align="center">训练说明</th> <th align="center">测试说明</th> <th align="center">DiffIR的预训练模型</th> </tr> <tr> <td align="left">图像修复</td> <td align="center"><a href="DiffIR-inpainting/README.md#training">链接</a></td> <td align="center"><a href="DiffIR-inpainting/README.md#evaluation">链接</a></td> <td align="center"><a href="https://drive.google.com/drive/folders/1RQXRWMqVaAsyyQt8T-3KtpS68ef8dh90?usp=drive_link">下载</a></td> </tr> <tr> <td>基于GAN的单图像超分辨率</td> <td align="center"><a href="DiffIR-SRGAN/README.md#training">链接</a></td> <td align="center"><a href="DiffIR-SRGAN/README.md#evaluation">链接</a></td> <td align="center"><a href="https://drive.google.com/drive/folders/1Mmhz6Sx9tz-n3QJAd6w-UlxdugTEH2fV?usp=drive_link">下载</a></td> </tr> <tr> <td>真实世界超分辨率</td> <td align="center"><a href="DiffIR-RealSR/README.md#training">链接</a></td> <td align="center"><a href="DiffIR-RealSR/README.md#evaluation">链接</a></td> <td align="center"><a href="https://drive.google.com/drive/folders/1G3Ep0xd-uBpIXGZFdWzH1uVCOpJaqkOF?usp=drive_link">下载</a></td> </tr> <tr> <td>运动去模糊</td> <td align="center"><a href="DiffIR-demotionblur/README.md#training">链接</a></td> <td align="center"><a href="DiffIR-demotionblur/README.md#evaluation">链接</a></td> <td align="center"><a href="https://drive.google.com/drive/folders/1JWYaP9VVPX_Mh2w1Vezn74hck-oWSyMh?usp=drive_link">下载</a></td> </tr> </table>

结果

实验针对不同的图像处理任务进行，包括图像修复、基于GAN的单图像超分辨率、真实世界超分辨率和运动去模糊。

<details> <summary>图像修复（点击展开）</summary> <img src = "figs/inpainting-quan.jpg"> <img src = "figs/inpainting-qual.jpg"> </details> <details> <summary>基于GAN的单图像超分辨率（点击展开）</summary> <img src = "figs/SISR-quan.jpg"> <img src = "figs/SISR-qual.jpg"> </details> <details> <summary>真实世界超分辨率（点击展开）</summary> <img src = "figs/realworldsr-quan.jpg"> <img src = "figs/realworldsr-qual.jpg"> </details> <details> <summary>运动去模糊（点击展开）</summary> <img src = "figs/deblur-quan.jpg"> <img src = "figs/deblur-qual.jpg"> </details>

引用

如果您使用DiffIR，请考虑引用：

@article{xia2023diffir,
  title={Diffir: Efficient diffusion model for image restoration},
  author={Xia, Bin and Zhang, Yulun and Wang, Shiyin and Wang, Yitong and Wu, Xinglong and Tian, Yapeng and Yang, Wenming and Van Gool, Luc},
  journal={ICCV},
  year={2023}
}