night_enhancement (ECCV'2022)

简介

这是以下论文的实现。

Unsupervised Night Image Enhancement: When Layer Decomposition Meets Light-Effects Suppression
European Conference on Computer Vision (ECCV'2022)

Yeying Jin、Wenhan Yang和Robby T. Tan

[论文] [补充材料] [海报] [幻灯片] [链接]

🔥🔥

数据集

1. 夜间数据上的光效抑制

光效数据 [Dropbox] | [百度网盘 (code:self)] 光效数据来自Flickr和我们自行收集,包含多种颜色光源的各种场景。

CVPR2021 Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects [论文]
Aashish Sharma和Robby T. Tan

LED数据 [Dropbox] | [百度网盘 (code:ledl)] 我们拍摄了亮度较低的图像作为参考图像。

GTA5夜间雾霾 [Dropbox] | [百度网盘 (code:67ml)] 合成GTA5夜间雾霾数据。

ECCV2020 Nighttime Defogging Using High-Low Frequency Decomposition and Grayscale-Color Networks [论文]
Wending Yan、Robby T. Tan和Dengxin Dai

合成光效数据 [Dropbox] | [百度网盘 (code:synt)] 合成光效数据是以下论文的实现:

ICCV2017 A New Convolution Kernel for Atmospheric Point Spread Function Applied to Computer Vision [论文]
运行Matlab代码生成合成光效数据:

glow_rendering_code/repro_ICCV2007_Fig5.m

<img width=350" src="https://yellow-cdn.veclightyear.com/ab5030c0/b4df416a-692f-4fb5-af30-be6708d47477.PNG"> ### 2. 低光照增强数据

LOL 数据集 "Deep Retinex Decomposition for Low-Light Enhancement", BMVC, 2018. [百度云 (code:sdd0)] | [Google Drive]
LOL-Real 数据集 "Sparse Gradient Regularized Deep Retinex Network for Robust Low-Light Image Enhancement", TIP, 2021. [百度云 (code:l9xm)] | [Google Drive]

3. 低光照增强结果:

预训练模型

下载预训练的 LOL 模型 [Dropbox] | [BaiduPan (code:lol2)], 放在 ./results/LOL/model/ 中
将测试图像放在 ./LOL/ 中

低光照增强测试

🔥🔥 在线测试: https://replicate.com/cjwbw/night-enhancement

python main.py

低光照增强训练

没有分解、光效引导的低光照增强。

CUDA_VISIBLE_DEVICES=1 python main.py --dataset LOL --phase train --datasetpath /home1/yeying/data/LOL_Cap/

结果

LOL-test 结果 (15 个测试图像) [Dropbox] | [BaiduPan (code:lol1)]

在 LOL-test 数据集上获得以下表 3 中的结果。

学习	方法	PSNR	SSIM
无监督学习	我们的	21.521	0.7647
N/A	输入	7.773	0.1259

LOL-Real 结果 (100 个测试图像) [Dropbox] | [BaiduPan (code:lolc)]

在 LOL-Real 数据集上获得以下表 4 中的结果。

学习	方法	PSNR	SSIM
无监督学习	我们的	25.51	0.8015
N/A	输入	9.72	0.1752

在 LOL_V2_real (698 个训练图像) 上重新训练(从头开始训练),并在 LOL_V2_real 上进行测试 [Dropbox] | [BaiduPan (code:lol2)]. PSNR: 20.85 (vs EnlightenGAN 的 18.23), SSIM: 0.7243 (vs EnlightenGAN 的 0.61)。

4. 光效抑制结果:

预训练模型

下载预训练的去除光效模型 [Dropbox] | [BaiduPan (code:dele)], 放在 ./results/delighteffects/model/ 中
将测试图像放在 ./light-effects/ 中

消除光影效果测试

python main_delighteffects.py

分解1

输入位于./light-effects/，输出位于./light-effects-output/。 输入和输出分别是翻译网络的trainA和trainB。

demo_all.ipynb

python demo.py

分解2

输入位于./light-effects/，输出位于./light-effects-output/DSC01065/。 输入和输出分别是翻译网络的trainA和trainB。

python demo_separation.py --img_name DSC01065.JPG

分解3

demo_decomposition.m

输入和初始背景结果分别是翻译网络的trainA和trainB。

初始背景结果 [Dropbox]	光影效果结果 [Dropbox]	阴影结果 [Dropbox]
[BaiduPan (code:jjjj)]	[BaiduPan (code:lele)]	[BaiduPan (code:llll)]

消除光影效果训练

CUDA_VISIBLE_DEVICES=1 python main.py --dataset delighteffects --phase train --datasetpath /home1/yeying/data/light-effects/

特征结果:

运行MATLAB代码以自适应地融合三个色彩通道,并输出I_gray。

checkGrayMerge.m

下载微调后的VGG模型[Dropbox] | [BaiduPan (code:dark)](在ExDark数据集上微调),放在./VGG_code/ckpts/vgg16_featureextractFalse_ExDark/nets/model_best.tar
获取结构特征。

python test_VGGfeatures.py

比较总结:

许可证

此存储库中的代码和模型在学术和其他非商业用途下采用MIT许可证。 对于代码和模型的商业用途,可以获得单独的商业许可。请联系:

Yeying Jin (jinyeying@u.nus.edu)
Robby T. Tan (tanrobby@gmail.com)
Jonathan Tan (jonathan_tano@nus.edu.sg)

致谢

分解代码的实现基于DoubleDIP、Layer Seperation和LIME。 翻译代码的实现基于U-GAT-IT,我们在此表示感谢。 在networks.py中使用的一个技巧是将out = self.UpBlock2(x)改为out = (self.UpBlock2(x)+input).tanh()来学习残差。

引用

如果这项工作对您的研究有用,请引用我们的论文。

@inproceedings{jin2022unsupervised,
  title={Unsupervised night image enhancement: When layer decomposition meets light-effects suppression},
  author={Jin, Yeying and Yang, Wenhan and Tan, Robby T},
  booktitle={European Conference on Computer Vision},
  pages={404--421},
  year={2022},
  organization={Springer}
}

@inproceedings{jin2023enhancing, title={利用引导APSF和梯度自适应卷积提高夜间雾霾图像的可见度}, author={Jin, Yeying and Lin, Beibei and Yan, Wending and Yuan, Yuan and Ye, Wei and Tan, Robby T}, booktitle={Proceedings of the 31st ACM International Conference on Multimedia}, pages={2446--2457}, year={2023} }

如果光效数据对您的研究有用,请引用该论文。
```BibTeX
@inproceedings{sharma2021nighttime,
	title={通过提高动态范围和抑制光效来增强夜间能见度},
	author={Sharma, Aashish and Tan, Robby T},
	booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
	pages={11977--11986},
	year={2021}
}