2D高斯散射:实现几何精确的辐射场

近年来,3D高斯散射(3DGS)技术在辐射场重建领域引起了革命性的变革,实现了高质量的新视角合成和快速渲染。然而,由于3D高斯的多视图不一致性,3DGS无法准确表示表面。为了解决这个问题,来自上海科技大学和图宾根大学的研究人员提出了一种新的方法 - 2D高斯散射(2DGS),用于从多视图图像中建模和重建几何精确的辐射场。

2DGS的核心思想

2DGS的关键创新在于将3D体积压缩为一组2D定向平面高斯圆盘。与3D高斯不同,2D高斯提供了视图一致的几何表示,同时本质上建模了表面。为了准确恢复薄表面并实现稳定的优化,研究人员引入了一种透视精确的2D散射过程,利用射线-散射交叉和光栅化。

2D高斯散射示意图

2DGS的主要特点

视图一致的几何表示: 2D高斯圆盘提供了视图一致的几何表示,克服了3D高斯的多视图不一致性问题。
表面建模: 2D高斯本质上建模了表面,更适合表示真实世界的物体。
透视精确的2D散射: 引入了一种利用射线-散射交叉和光栅化的透视精确2D散射过程,以准确恢复薄表面并实现稳定优化。
正则化技术: 加入了深度失真和法线一致性项,进一步提高重建质量。
可微分渲染器: 允许进行无噪声和详细的几何重建,同时保持有竞争力的外观质量、快速的训练速度和实时渲染能力。

2DGS的实现与应用

2DGS的官方实现已在GitHub上开源。该项目基于PyTorch构建,提供了完整的训练和测试流程。研究人员还开发了一些配套工具,如SIBR查看器和Web查看器,方便用户可视化和交互2DGS的结果。

主要应用场景包括:

新视角合成: 2DGS可以生成高质量的新视角图像,适用于虚拟现实和增强现实等领域。
3D重建: 通过2DGS可以从多视图图像中重建出精确的3D几何模型。
计算机视觉研究: 2DGS为计算机视觉领域提供了一种新的场景表示方法,有望推动相关研究的发展。

2DGS的性能评估

研究人员在多个数据集上评估了2DGS的性能,包括MipNeRF360和DTU数据集。结果显示,2DGS在几何重建精度上明显优于3DGS,同时在新视角合成质量上也保持了竞争力。

以DTU数据集为例,2DGS在Chamfer距离(越低越好)上的表现如下:

方法	平均Chamfer距离
论文结果	0.80
复现结果	0.74

这一结果表明,2DGS在几何重建精度上有显著优势。

结语

2D高斯散射技术为辐射场重建和3D场景表示提供了一种新的范式。通过将3D高斯压缩为2D定向圆盘,2DGS成功地解决了3DGS在表面表示上的不足,同时保持了高效的渲染性能。这一创新有望在计算机视觉、计算机图形学和虚拟/增强现实等领域带来广泛应用。随着技术的不断完善和工具链的丰富,我们可以期待看到2DGS在更多实际场景中的应用和impact。

对于有兴趣深入了解或尝试2DGS的读者,可以访问项目的GitHub仓库(https://github.com/hbb1/2d-gaussian-splatting)获取更多信息和代码资源。研究人员也欢迎社区贡献,共同推动这一技术的发展。