深度学习在运动去模糊中的应用：现状、基准和未来展望

:fire::fire: 在这篇综述中，我们系统地检阅了超过150篇论文:page_with_curl::page_with_curl::page_with_curl:，总结和分析了:star2:30多种盲运动去模糊方法。

:fire::fire::fire: 我们在四个数据集上对当前最先进的方法进行了广泛的定性和定量比较，突出了它们的局限性，并指出了未来的研究方向。

:fire::fire::fire::fire: 已包含CVPR 2024最新的去模糊论文~

图1. 盲运动去模糊深度学习方法概述。

<a href="#survey">与去模糊相关的综述和调查</a>
<a href="#cnnmodels">基于CNN的盲运动去模糊模型</a>
<a href="#rnnmodels">基于RNN的盲运动去模糊模型</a>
<a href="#ganmodels">基于GAN的盲运动去模糊模型</a>
<a href="#tmodels">基于Transformer的盲运动去模糊模型</a>
<a href="#diffmodels">基于扩散的盲运动去模糊模型</a>
<a href="#datasets">运动去模糊数据集</a>
<a href="#evaluation">评估</a>
<a href="#citation">引用</a>

0. 与去模糊相关的综述和调查：<a id="survey" class="anchor" href="#survey" aria-hidden="true"></a>

:rocket::rocket::rocket:更新（2023-12-28）:balloon:

序号	年份	发表	标题	链接
01	2021	CDS	单图像去模糊调查	论文/项目
02	2021	CVIU	基于神经网络的单图像去模糊比较调查	论文/项目
03	2022	IJCV	深度图像去模糊：一项调查	论文/项目
04	2022	arXiv	盲图像去模糊：一个综述	论文/项目
05	2023	CVMJ	人脸图像去模糊调查	论文/项目
06	2023	arXiv	深度神经网络图像去模糊全面调查	论文/项目

1. 基于CNN的盲运动去模糊模型：<a id="cnnmodels" class="anchor" href="#CNNmodels" aria-hidden="true"></a>

:rocket::rocket::rocket:更新（2024-05-14）:balloon:

编号	年份	模型	发表	标题	链接
01	2017	DeepDeblur	CVPR	用于动态场景去模糊的深度多尺度卷积神经网络	论文/项目
02	2019	DMPHN	CVPR	用于图像去模糊的深度堆叠层次多块网络	论文/项目
03	2019	PSS-NSC	CVPR	具有参数选择性共享和嵌套跳跃连接的动态场景去模糊	论文/项目
04	2020	DGN	TIP	基于深度引导模型的动态场景去模糊	论文/项目
05	2020	MSCAN	TCSVT	基于深度卷积神经网络的通道注意力单图动态场景盲去模糊	论文/项目
06	2021	SDWNet	ICCVW	SDWNet：用于图像去模糊的直接膨胀小波变换网络	论文/项目
07	2021		TIP	图像去模糊的深度异常值处理	论文/[项目]
08	2021	MIMOU-Net+	ICCV	重新思考单图像去模糊的粗到细方法	论文/项目
09	2021	MPRNet	CVPR	多阶段渐进式图像恢复	论文/项目
10	2022	MSSNet	ECCVW	MSSNet：用于单图像去模糊的多尺度阶段网络	论文/项目
11	2022	HINet	CVPRW	HINet：用于图像恢复的半实例归一化网络	论文/项目
12	2022	BANet	TIP	BANet：用于动态场景去模糊的模糊感知注意力网络	论文/项目
13	2022	IRNeXt	ICML	IRNeXt：重新思考图像恢复的卷积网络设计	论文/项目
14	2023	ReLoBlur	AAAI	真实世界深度局部运动去模糊	论文/项目
15	2023	MRLPFNet	ICCV	用于图像去模糊的多尺度残差低通滤波网络	论文/[项目]
16	2023	MSFS-FNet	TCSVT	用于图像去模糊的多尺度频率分离网络	论文/项目

2. 基于RNN的盲运动去模糊模型：

:rocket::rocket::rocket:更新（2024-05-14）:balloon:

序号	年份	模型	发表于	标题	链接
01	2018	SVRNN	CVPR	使用空间变体循环神经网络的动态场景去模糊	论文/项目
02	2018	SRN	CVPR	用于深度图像去模糊的尺度递归网络	论文/项目
03	2022		TCSVT	基于光流的深度动态场景去模糊	论文/[项目]
04	2023	MT-RNN	ECCV	用于渐进非均匀单图像去模糊的多时间递归神经网络及其增量时间训练	论文/项目

3. 基于GAN的盲运动去模糊模型：

:rocket::rocket::rocket:更新（2024年5月14日）:balloon:

序号	年份	模型	发表于	标题	链接
01	2018	DeblurGAN	CVPR	DeblurGAN：使用条件对抗网络的盲运动去模糊	论文/项目
02	2019	DeblurGAN-V2	ICCV	DeblurGAN-v2：（数量级）更快更好的去模糊	论文/项目
03	2020	DBGAN	CVPR	分布诱导双向GAN用于图表示学习	论文/项目
04	2021	CycleGAN	ICCV	使用循环一致对抗网络的非配对图像到图像转换	论文/项目
05	2021		TPAMI	基于物理的生成对抗模型用于图像恢复及其他应用	论文/[项目]
06	2022	FCLGAN	ACM	使用循环一致对抗网络的非配对图像到图像转换	论文/项目
07	2022	Ghost-DeblurGAN	IROS	Ghost-DeblurGAN在基准标记检测中的应用	论文/项目

4. 基于Transformer的盲运动去模糊模型：

:rocket::rocket::rocket:更新（2024年5月14日）:balloon:

序号	年份	模型	发表会议	标题	链接
01	2021	Uformer	CVPR	Uformer：用于图像恢复的通用U形transformer	论文/项目
02	2022	Restormer	CVPR	Restormer：用于高分辨率图像恢复的高效transformer	论文/项目
03	2022	Stripformer	ECCV	Stripformer：用于快速图像去模糊的条带transformer	论文/项目
04	2022	Stoformer	NeurIPS	用于图像恢复的随机窗口transformer	论文/项目
05	2023	Sharpformer	TIP	SharpFormer：学习保留局部特征的全局表示用于图像去模糊	论文/项目
06	2023	FFTformer	CVPR	基于高效频域的transformer用于高质量图像去模糊	论文/项目
07	2023	BiT	CVPR	用于真实世界运动从模糊中恢复的模糊插值transformer	论文/项目
08	2024		CVPR	用于盲运动去模糊的高效多尺度网络与可学习离散小波变换	[论文]/[项目]
09	2024		TNNLS	通过探索transformer的深度属性进行图像去模糊	[论文]/项目

5. 基于扩散的盲运动去模糊模型：<a id="diffmodels" class="anchor" href="#Diffmodels" aria-hidden="true"></a>

:rocket::rocket::rocket:更新（2024-05-14）:balloon:

序号	年份	模型	发表会议	标题	链接
01	2023		ICCV	用于图像去模糊的多尺度结构引导扩散	论文/[项目]
02	2024	ID-Blau	CVPR	ID-Blau：基于隐式扩散的重模糊增强的图像去模糊	论文/[项目]
03	2024		CVPR	基于傅里叶先验引导的扩散用于零样本联合低光增强和去模糊	[论文]/[项目]

6. 运动去模糊数据集：

:rocket::rocket::rocket:更新（2024-01-08）:balloon:

序号	数据集	年份	发表	规模	类型	训练/验证/测试	下载
01	Köhler等人	2012	ECCV	4清晰，48模糊	合成	-	链接
02	GoPro	2017	CVPR	3214	合成	2103/0/1111	链接
03	HIDE	2019	CVPR	8422	合成	6397/0/2025	链接
04	Blur-DVS	2020	CVPR	13358	真实	8878/1120/3360	[链接]
05	RealBlur	2020	ECCV	4738	真实	3758/0/980	链接
06	RsBlur	2022	ECCV	13358	真实	8878/1120/3360	链接
07	ReLoBlur	2023	AAAI	2405	真实	2010/0/395	链接

7. 评估：

对GoPro结果在MATLAB中进行评估，修改'./out/...'为相应路径

evaluation_GoPro.m

对HIDE结果在MATLAB中进行评估，修改'./out/...'为相应路径

evaluation_HIDE.m

对RealBlur_J结果进行评估，修改'./out/...'为相应路径

python evaluate_RealBlur_J.py

对RealBlur_R结果进行评估，修改'./out/...'为相应路径

python evaluate_RealBlur_R.py

引用：

如果您发现我们的综述论文和评估代码有用，请引用以下论文：

@article{xiang2024application,
      title={Application of Deep Learning in Blind Motion Deblurring: Current Status and Future Prospects}, 
      author={Yawen Xiang and Heng Zhou and Chengyang Li and Fangwei Sun and Zhongbo Li and Yongqiang Xie},
      year={2024},
      journal={arXiv preprint arXiv:2401.05055},
}