CycleISP: 通过改进的数据合成实现真实图像恢复

CycleISP:通过改进的数据合成实现真实图像恢复

随着深度卷积神经网络(CNNs)的发展,大规模数据集的可用性极大地释放了CNN的潜力。然而,对于单图像去噪问题,捕获真实的噪声数据集是一个非常昂贵和繁琐的过程。因此,图像去噪算法主要是在合成数据上开发和评估的,这些合成数据通常是基于加性白高斯噪声(AWGN)的广泛假设生成的。虽然CNN在这些合成数据集上取得了令人印象深刻的结果,但当应用于真实相机图像时,它们的性能并不理想,这一点在最近的基准数据集中得到了报告。

这主要是因为AWGN不足以模拟真实相机噪声,真实相机噪声是信号相关的,并且会被相机成像管道严重转换。为了解决这个问题,来自多个机构的研究人员Syed Waqas Zamir、Aditya Arora等人提出了CycleISP框架,该框架在正向和反向两个方向上模拟相机成像管道。

CycleISP框架概述

CycleISP框架允许将sRGB图像转换为RAW数据,然后再转换回sRGB图像。它包含两个主要的网络分支:

1. RGB2RAW网络分支
2. RAW2RGB网络分支

这种双向转换的设计使CycleISP能够产生任意数量的真实图像对,用于RAW和sRGB空间的去噪。具体来说:

• RGB2RAW网络分支接受清晰的sRGB图像作为输入,将其转换为清晰的RAW图像。然后,噪声注入模块向RAW图像添加不同级别的散粒噪声和读出噪声。这样,我们就可以从任何sRGB图像生成{RAW_clean, RAW_noisy}图像对。

• RAW2RGB网络分支则接受合成的RAW噪声图像作为输入,将其映射到噪声sRGB图像,从而生成{sRGB_clean, sRGB_noisy}图像对。

这种方法的优势在于,它不需要任何相机参数或先验知识,因此具有很高的通用性。研究人员可以使用CycleISP在sRGB或RAW域中生成任意数量的无噪声和有噪声图像对。

去噪网络设计

在CycleISP框架的基础上,研究人员还提出了一种新的图像去噪网络。该网络的核心是递归残差组(Recursive Residual Group, RRG)结构:

RRG结构通过级联多个卷积层和残差连接,可以有效地提取图像特征。此外,研究人员还在网络中引入了注意力机制,包括通道注意力和空间注意力,以进一步提高去噪性能。

完整的去噪网络架构如下:

值得注意的是,这个网络的参数数量约为之前最佳RAW去噪方法的1/5,展现了优秀的效率。

实验结果

研究人员在真实相机基准数据集上进行了大量实验,以验证CycleISP的有效性。实验包括RAW图像去噪和sRGB图像去噪两个任务。

RAW图像去噪

对于RAW图像去噪,实验使用了DND(Darmstadt Noise Dataset)和SIDD(Smartphone Image Denoising Dataset)两个数据集。结果显示,CycleISP在这两个数据集上都取得了最先进的性能。

sRGB图像去噪

在sRGB图像去噪任务上,CycleISP同样展现了优异的性能。下图展示了CycleISP与其他方法在DND和SIDD数据集上的对比结果:

可以看到,CycleISP在PSNR和SSIM两个指标上都优于其他方法,展现了强大的去噪能力。

安装与使用

CycleISP是基于PyTorch 1.1.0构建的,并在Ubuntu 16.04环境下进行了测试(Python3.7, CUDA9.0, cuDNN7.5)。要安装CycleISP,可以按照以下步骤操作:

sudo apt-get install cmake build-essential libjpeg-dev libpng-dev
conda create -n pytorch1 python=3.7
conda activate pytorch1
conda install pytorch=1.1 torchvision=0.3 cudatoolkit=9.0 -c pytorch
pip install matplotlib scikit-image yacs lycon natsort h5py tqdm

安装完成后,用户可以使用CycleISP进行数据合成和图像去噪。例如,要生成RAW去噪数据,可以运行:

python generate_raw_data.py 

要生成sRGB去噪数据,可以运行:

python generate_rgb_data.py 

对于模型评估,CycleISP提供了多个脚本来测试不同数据集上的去噪性能。例如,要在DND数据集的RAW图像上进行去噪,可以运行:

python test_dnd_raw.py --save_images

总结与展望

CycleISP为真实图像去噪问题提供了一个强大的解决方案。通过模拟相机成像管道,它能够生成高质量的合成数据,从而训练出在真实相机图像上表现优异的去噪模型。CycleISP的主要贡献可以总结为:

1. 提出了一个双向的相机成像管道模拟框架,可以在RAW和sRGB空间之间进行转换。
2. 设计了一个高效的去噪网络,在保持较少参数的同时达到了最先进的性能。
3. 在多个真实相机基准数据集上取得了优异的去噪结果。

除了图像去噪,研究人员还展示了CycleISP在立体电影色彩匹配等其他任务上的潜力,表明该框架具有广泛的应用前景。

未来的研究方向可能包括:

• 将CycleISP扩展到更多的图像恢复任务,如超分辨率、去模糊等。
• 探索如何将CycleISP与其他先进的深度学习技术(如自监督学习、元学习等)结合。
• 研究如何进一步提高CycleISP的效率,使其能够在移动设备等资源受限的环境中运行。

总的来说,CycleISP为真实图像恢复领域带来了新的可能性,有望推动这一领域的进一步发展。研究人员和开发者可以在GitHub上获取CycleISP的源代码和预训练模型,以便进行进一步的研究和应用。