深度光学/端到端光学设计精选

一份精选的深度光学论文列表,灵感来自awesome-computer-vision。

深度光学/端到端光学设计同时学习光学元件和图像处理网络,目标是:

• 从物理世界编码更多信息,例如深度编码和高光谱成像。
• 减小成像系统的物理尺寸和成本,例如紧凑型相机。

阅读论文时请思考以下三个问题:(它们会很有帮助!)

• 成像模型是什么? 可微分的成像模型使得与神经网络的端到端光学设计成为可能。波动光学和光线追踪是两种常用的成像仿真方法。
• 编码了什么信息? 深度光学系统比经典光学系统具有更好的信息编码能力。额外的信息可用于计算成像和计算机视觉。
• 他们如何制造光学元件? 设计深度光学系统后,用原型验证它!

成像模型

(我正尝试创建一个新的仓库来收集光学/成像过程仿真的论文。你怎么看?)

以下是一些我认为有助于学习成像过程的资料。

• [1996年书籍] 傅里叶光学导论 McGraw-Hill电气和计算机工程系列。[链接]
• [2007年书籍] 现代光学工程。[链接]
• [2011年书籍] 计算傅里叶光学:MATLAB教程。[链接]
• [2012年Siggraph课程] 计算显示:结合光学制造、计算处理和感知技巧来构建未来的显示器。[链接]
• [2019年博士论文] 基于光线的方法模拟成像系统中的像差和级联衍射。[链接]
• [2020年Siggraph课程] 深度光学:特定领域相机的光学和图像恢复算法的联合设计。[链接]
• [2022年Siggraph课程] 可微分相机和显示器。[链接]

端到端光学设计

1. 波传播模型

在波传播模型中,每个光学元件(DOE、透镜、光圈等)都表示为相位掩模。这种理想化的光学易于仿真;然而,它不够准确,无法模拟光学像差。

单个DOE或超表面(转向平面相机)

• 2016 用于全光谱计算成像的编码衍射光学。[论文],[补充]
• 2016 衍射消色差全光谱计算成像的衍射光学。[论文],[补充,视频],[项目]
• 2018 用于消色差扩展景深和超分辨率成像的光学和图像处理的端到端优化。 [论文],[补充],[项目],[代码]
• 2019 基于衍射旋转的紧凑型快照高光谱成像。[论文],[补充],[项目]
• 2020 用于全光谱计算成像的学习旋转对称衍射消色差元件。[论文],[补充],[项目,视频]
• 2021 基于学习衍射光学的单次高光谱-深度成像。[论文],[补充],[项目],[视频]
• 2021 用于高质量薄透镜成像的神经纳米光学。 [论文],[补充],[项目],[项目],[代码]
• 2022 用于衍射快照高光谱成像的量化感知深度光学。[论文],[补充],[代码]
• 2023 薄型片上纳米光子阵列相机。[论文],[补充],[项目],[代码]

DOE + 不可优化薄透镜(转向混合光学)

• 2019年 PhaseCam3D — 学习相位掩模实现被动单视图深度估计。论文，补充材料，项目网站，代码
• 2020年 学习一阶衍射光学元件实现单次高动态范围成像。 论文，补充材料，项目网站
• 2020年 用于单次高动态范围成像的深度光学。论文，项目网站，视频，代码
• 2020年 端到端学习的光学编码超分辨率单光子雪崩二极管相机。论文，补充材料，项目网站
• 2021年 基于学习光学的离焦景深估计及成像与遮挡感知深度估计。论文，补充材料，项目网站，代码
• 2022年 基于深度光学的端到端快照压缩超分辨率成像。论文，补充材料
• 2022年 利用衍射隐身穿透障碍物成像。 论文，项目网站，代码
• 2022年 基于硬件在环方法的混合衍射光学设计，用于消色差扩展景深成像。论文，补充材料

其他（编码光圈等）

• 2019年 用于单目深度估计和3D物体检测的深度光学。论文，项目网站
• 2020年 光谱DiffuserCam：使用光谱滤波器阵列的无镜头快照高光谱成像。论文，代码
• 2021年 学习用于人体姿态估计的隐私保护光学。论文，补充材料，项目网站、幻灯片、视频，代码
• 2021年 Mask-ToF：学习微透镜掩模以校正飞行时间成像中的飞行像素。论文，项目网站，代码
• 2021年 移变彩色编码衍射光谱成像系统。论文，视频，代码

2. 光线追踪模型

光线追踪是光学设计中最常用的技术（例如ZEMAX和CodeV）。在深度光学领域，人们通常计算点扩散函数（PSF）并与输入进行卷积，或执行基于光线追踪的渲染来模拟传感器图像。大多数光线追踪工作是非相干的，但也有一些相干光线追踪的工作。

镜头（转到计算摄影）

• 2019年 使用薄板光学学习大视场成像。项目，视频，代码
• 2021年 使用可微分光线追踪进行端到端复杂镜头设计。 论文，项目
• 2021年 用于大景深成像的单片镜头端到端计算光学。论文
• 2021年 使用快速可微分光线追踪的端到端学习单片镜头设计。论文
• 2021年 dO：用于计算成像系统深度镜头设计的可微分引擎。 论文，项目，代码
• 2021年 通过可微分折射偏折测量实现自校准镜头测量。论文，项目，代码
• 2022年 移动终端大规模生产中的计算光学。论文
• 2022年 可微分镜头：用于物体检测的玻璃表面和材料复合镜头搜索。论文，代码
• 2023年 用于从头开始深度学习折射光学的课程学习。 论文，视频，代码
• 2023年 图像质量并非你想要的全部：面向图像分类的任务驱动镜头设计。论文
• 2023年 通过渐进优化和深度学习实现大景深超紧凑显微镜。论文，代码
• 2023年 揭示联合光学-图像设计中纠正分离像差的偏好。论文

其他

• 2021年 使用可微分光线追踪进行端到端传感器和神经网络设计。论文
• 2022年 伴随非线性光线追踪。论文

3. 网络表示

最新方法是通过网络对一组光学系统进行建模。该网络以光学参数（如曲率）作为输入，并输出点扩散函数（PSF）。通过大量训练，网络学习光学参数的连续插值。在端到端训练中，我们可以通过网络反向传播梯度，得到光学参数的梯度。

镜头（转到计算摄影）

• 2021年 基于深度学习的自动镜头设计起点生成框架。论文，项目
• 2021年 可微分复合光学和处理管道优化，用于端到端相机设计。 论文，项目
• 2023年 考虑像差的深度从聚焦。论文，补充材料，项目，代码

光刻（转到计算光刻）

• 2023年 使用"真实到仿真"学习的双光子神经光刻模拟器缩小计算光学中设计到制造的差距。 论文，补充材料，项目，代码

贡献

欢迎通过提交拉取请求或发送电子邮件（xinge.yang@kaust.edu.sa）为此仓库做出贡献。

许可证

许可证

在法律允许的范围内，Xinge Yang已放弃本作品的所有版权和相关或邻接权利。