SpA-Former: 一种高效轻量的图像阴影去除Transformer模型

SpA-Former:高效轻量的图像阴影去除Transformer模型

图像阴影去除是计算机视觉领域的一个重要任务,对于提高图像质量、改善视觉效果具有重要意义。传统的阴影去除方法通常需要先进行阴影检测,再进行阴影去除,这种两阶段的处理方式效率较低。近日,来自上海交通大学的研究团队提出了一种名为SpA-Former的新型图像阴影去除模型,通过创新的网络结构设计,实现了单阶段的端到端阴影去除。

SpA-Former的技术创新

SpA-Former的核心创新在于将Transformer结构与空间注意力机制相结合,设计了一种高效轻量的端到端网络。该网络能够直接学习有阴影图像到无阴影图像的映射函数,无需单独的阴影检测步骤。

具体来说,SpA-Former主要包含以下几个关键组件:

Transformer编码器层:利用Transformer的自注意力机制捕捉图像的长程依赖关系。
联合傅里叶变换残差块:在频域和空域同时进行特征提取和处理。
双轮联合空间注意力模块:通过两次空间注意力操作,有效提取阴影区域的特征。
轻量化设计:采用多种策略降低模型复杂度,提高处理效率。

这种创新的网络结构设计使得SpA-Former能够自适应地处理投射在不同语义区域的阴影,具有很强的泛化能力。

网络结构与工作流程

SpA-Former的整体网络结构如下图所示:

SpA-Former网络结构

SpA-Former的工作流程可以概括为以下几个步骤:

输入带阴影的图像。
通过Transformer编码器层提取全局特征。
利用联合傅里叶变换残差块进行多尺度特征提取。
应用双轮联合空间注意力模块,突出阴影区域特征。
通过解码器生成无阴影图像。

整个过程是端到端的,无需分别进行阴影检测和去除,大大提高了处理效率。

实验结果与性能评估

研究团队在多个公开数据集上对SpA-Former进行了全面的实验评估。以ISTD数据集为例,SpA-Former的注意力图如下所示:

SpA-Former在ISTD数据集上的注意力图

从图中可以看出,SpA-Former能够准确地定位阴影区域,并在去除阴影的同时保持图像的整体结构和细节。

在定量评估方面,研究团队采用了峰值信噪比(PSNR)、结构相似性指标(SSIM)和均方根误差(RMSE)作为评价指标。SpA-Former与其他最新方法的对比结果如下:

SpA-Former性能对比

从表格中可以看出,SpA-Former在各项指标上均优于现有方法,展现出了优异的阴影去除性能。特别是在阴影区域的恢复效果上,SpA-Former取得了显著的提升。

代码实现与使用指南

为了促进相关研究的发展,研究团队已经将SpA-Former的完整代码开源在GitHub上。感兴趣的读者可以访问项目仓库获取更多详细信息。

下面简要介绍SpA-Former的使用方法:

训练模型: 修改config.yml文件设置参数,然后运行训练脚本。

测试模型: 首先将测试数据集调整为640x480大小,然后运行以下命令:

python predict.py --config <config_path> --test_dir <test_data_path> --out_dir <output_path> --pretrained <model_path> --cuda

预训练模型: 研究团队提供了在ISTD数据集上预训练的模型,可以从Google Drive或百度网盘(提取码:rpis)下载。
评估结果: 使用MATLAB脚本可以reproduce论文中的PSNR/SSIM/RMSE评分。

未来研究方向

尽管SpA-Former在图像阴影去除任务上取得了显著的进展,但仍有一些值得进一步探索的方向:

模型轻量化:进一步优化网络结构,降低计算复杂度,使模型更适合移动设备等资源受限场景。
泛化能力:提高模型在不同光照条件、不同场景下的阴影去除性能。
实时处理:优化算法,实现视频流的实时阴影去除。
多任务学习:将阴影去除与其他图像增强任务(如去雾、去模糊等)结合,实现一体化的图像质量提升。
无监督学习:探索利用无标注数据进行模型训练,减少对大规模标注数据的依赖。

结语

SpA-Former为图像阴影去除任务提供了一种新的解决方案,其创新的网络结构和端到端的处理方式为该领域的研究带来了新的思路。随着深度学习技术的不断发展,我们有理由相信,未来会出现更多高效、准确的图像增强算法,为计算机视觉应用提供更强大的支持。

如果您对SpA-Former项目感兴趣,欢迎访问GitHub仓库了解更多细节,或者通过邮箱framebreak@sjtu.edu.cn与作者联系。同时,如果您认为这项工作对您的研究有所帮助,别忘了给项目点个star哦! 🌟

参考文献

@INPROCEEDINGS{10191081,
  author={Zhang, Xiaofeng and Zhao, Yudi and Gu, Chaochen and Lu, Changsheng and Zhu, Shanying},
  booktitle={2023 International Joint Conference on Neural Networks (IJCNN)}, 
  title={SpA-Former:An Effective and lightweight Transformer for image shadow removal}, 
  year={2023},
  volume={},
  number={},
  pages={1-8},
  doi={10.1109/IJCNN54540.2023.10191081}}