zoom-learn-zoom

项目介绍：zoom-learn-zoom

背景介绍

zoom-learn-zoom 是一个开创性项目，专注于通过机器学习技术优化数码变焦摄影。这项研究在2019年的计算机视觉与模式识别大会（CVPR）上发表，提出了一个创新的想法：使用真实的、未经处理的传感器数据（RAW）来训练机器学习模型能够显著提高数码变焦的效果。该项目基于 tensorflow 平台开展，并在 Ubuntu 16.04 LTS 系统上成功测试。

SR-RAW 数据集

此项目推出了 SR-RAW 数据集，用于训练和测试机器学习模型。数据集中包含高质量的35毫米图像，专门用于模型测试。用户可以通过在线资源下载到完整的数据集，同时也提供百度网盘链接供国内用户下载。

数据扩展与个人应用

项目团队不仅提供了丰富的训练和测试数据，还允许用户在自己的数据上运行模型。需注意的是，若使用 Sony 数码相机 RAW 格式之外的原始数据（例如 iPhone 的 DNG 格式），则需要对模型进行一定的微调。

快速推理

为了方便用户快速上手，项目提供了预训练好的模型以及示例数据。用户可以通过简单的指令下载这些资源，并立即进行快速推理体验。所有结果都将被保存到指定的输出文件夹中，方便后续查看和再处理。

模型训练与损失函数

zoom-learn-zoom 项目中使用了创新的 CoBi 损失函数，这一函数基于上下文损失进行了修改和改进。在模型训练过程中，CoBi 损失函数能够在不要求像素精确对齐数据对的情况下，帮助提高模型的收敛速度。此外，项目还提供了数据预处理的脚本，可自动调整视野对齐并纠正因手部抖动导致的错位。

RAW-RGB 处理演示

为了帮助用户更好地处理 RAW-RGB 对，项目还附带了一份详尽的 notebook 文件，指导用户如何准备和处理这些数据对。项目在 utils.py 中增加了若干辅助函数，以便用户更好地进行数据和模型处理。

学术参考

如果该项目对您的研究有帮助，请在学术引用中标注：

@inproceedings{zhang2019zoom
  title={Zoom to Learn, Learn to Zoom},
  author={Zhang, Xuaner and Chen, Qifeng and Ng, Ren and Koltun, Vladlen},
  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},
  year={2019}
}