GeoGaussian：基于几何信息的高斯点云融合渲染（ECCV 2024）

📖 摘要

在高斯点云融合优化过程中，如果没有特意保护场景几何结构，特别是无纹理区域如墙壁、天花板和家具表面，场景几何会逐渐恶化。这种退化严重影响了与训练数据视角差异较大的新视图的渲染质量。

为解决这一问题，我们提出了一种称为GeoGaussian的新方法。基于点云观察到的平滑连接区域，该方法引入了一种新的流水线来初始化与表面对准的细长高斯模型，并通过精心设计的密集化策略将其特性传递到新的生成中。最后，该流水线通过带有显式几何约束的约束优化过程确保场景几何和纹理得到维护。得益于所提出的架构，3D高斯的生成能力在结构化区域得到增强。

我们提出的流水线在新视图合成和几何重建方面达到了最先进的性能，在公共数据集上进行了定性和定量评估。

<div align="center"> <img width="100%" alt="image" src="https://yellow-cdn.veclightyear.com/ab5030c0/021ec2db-0a82-4d04-8772-d6b19af5d537.gif"> <img width="100%" alt="image" src="https://yellow-cdn.veclightyear.com/ab5030c0/684d41fb-670e-4caf-a198-e172ef8fc401.gif"> <img width="100%" alt="image" src="https://yellow-cdn.veclightyear.com/ab5030c0/3538cd3c-8ae4-49d3-b46e-13854cf3bae8.gif"> </div> <div align="center"> 3DGS | LightGS | GeoGaussian(Ours) </div>

在公共数据集上的新视图渲染对比。在某些具有较大平移和旋转差异的具有挑战性的视角下，3DGS和LightGS在照片级渲染方面存在问题。

📋 待办事项

🚀 基于几何信息的策略

在仔细设计的初始化和密集化策略中采用了具有显式几何意义的细长3D高斯参数化，以建立合理的3D高斯模型。
提出了几何一致性约束，鼓励细长高斯与平滑表面保持一致排列。

💾 数据集

基于SLAM方法PlanarSLAM，我们创建了新的点云而不是使用COLMAP的结果进行实验。

此类输入的新特性:

<ol> <li> 位于非纹理区域的点 </li> <li> 用不同颜色表示的全局平面实例 </li> <li> 每个平面点的表面法向量 </li> </ol>

可以通过以下链接获取子数据集: Replica (PlanarSLAM)、 TUM RGB-D (PlanarSLAM)、 ICL NUIM (PlanarSLAM)。然后需要将原始数据集图像放在"results"文件夹中。原始图像可以通过以下链接获取: Replica、 TUM RGB-D、 ICL NUIM。每个序列的结构组织如下:

Replica_r2
	|______PointClouds.ply          # SLAM系统生成的稀疏点云
 	|______KeyFrameTrajectory2.txt  # SLAM系统生成的相机位姿
  	|______results                  # 所有原始图像的文件夹

我们的代码提供了处理这种数据格式的接口。

🎓 基准线

1. 基于平面点云的高斯溅射 代码仓库

🔧 GeoGaussian的设置

1. 克隆代码仓库。

# https
git clone https://github.com/yanyan-li/GeoGaussian
# or ssh
git clone git@github.com:yanyan-li/GeoGaussian.git

2. 环境设置。

如果你已有3dgs环境,可直接使用。否则请参考3DGS environment的环境配置。我们的代码仓库中提供了environment.yml文件。

此外,你还需要安装open3d、scipy、matplotlib和pillow库。

# 如果你已经安装了3dgs环境,
# 请激活该环境,并执行以下命令:
conda activate gaussian_splatting
pip install open3d scipy matplotlib pillow

3. 下载演示数据集

创建一个新的data文件夹
下载文件(Replica OFF2).
将其解压到data文件夹中。

4. 运行代码

为了运行我们的代码, 你应该指定数据集的路径, 该路径应包含KeyFrameTrajectory.txt文件或sparse文件夹, 并指定输入图像的稀疏度,即输入图像之间的间隔。

# python train.py -s [path_to_dataset] --sparse_num [N]( 1 ==> 100% images, 5 ==> 20% images)

运行演示:

python train.py -s data/Replica-OFF2 --sparse_num 1

然后你会发现output文件夹中有一个特定的xxxxxxxx-x目录, 以及depth和rgb目录, 它们分别存储训练过程中渲染的RGB和深度图像。

📊 结果

<table> <tr> <td colspan="2"><div align="center">方法 数据</div></td> <td colspan="4"><div align="center">3DGS</div></td> <td colspan="4"><div align="center">LightGS</div></td> <td colspan="4"><div align="center">GeoGaussian(我们的)</div></td> </tr> <tr> <td rowspan="3"><div align="left">R1</div></td> <td rowspan="3"><div align="center">PSNR↑ SSIM↑ LPIPS↓</div></td> <td>30.49</td> <td>33.98</td> <td>37.45</td> <td>37.60</td> <td>30.54</td> <td>34.06</td> <td>37.72</td> <td>38.44</td> <td>31.65</td> <td>35.17</td> <td>38.00</td> <td>38.24</td> </tr> <tr> <td>0.932</td> <td>0.951</td> <td>0.964</td> <td>0.965</td> <td>0.932</td> <td>0.951</td> <td>0.965</td> <td>0.967</td> <td>0.937</td> <td>0.957</td> <td>0.968</td> <td>0.979</td> </tr> <tr> <td>0.051</td> <td>0.036</td> <td>0.029</td> <td>0.028</td> <td>0.051</td> <td>0.035</td> <td>0.028</td> <td>0.025</td> <td>0.041</td> <td>0.027</td> <td>0.022</td> <td>0.021</td> </tr> <tr> <td rowspan="3"><div align="left">R2</div></td> <td rowspan="3"><div align="center">PSNR↑ SSIM↑ LPIPS↓</div></td> <td>31.53</td> <td>35.82</td> <td>38.53</td> <td>38.70</td> <td>31.54</td> <td>35.93</td> <td>38.78</td> <td>39.07</td> <td>32.13</td> <td>36.81</td> <td>38.84</td> <td>39.14</td> </tr> <tr> <td>0.935</td> <td>0.959</td> <td>0.968</td> <td>0.968</td> <td>0.935</td> <td>0.959</td> <td>0.968</td> <td>0.968</td> <td>0.943</td> <td>0.963</td> <td>0.969</td> <td>0.970</td> </tr> <tr> <td>0.050</td> <td>0.031</td> <td>0.028</td> <td>0.029</td> <td>0.049</td> <td>0.031</td> <td>0.027</td> <td>0.028</td> <td>0.041</td> <td>0.025</td> <td>0.024</td> <td>0.024</td> </tr> <tr> <td rowspan="3"><div align="left">OFF3</div></td> <td rowspan="3"><div align="center">PSNR↑ SSIM↑ LPIPS↓</div></td> <td>30.90</td> <td>33.86</td> <td>36.26</td> <td>36.56</td> <td>30.93</td> <td>33.90</td> <td>36.38</td> <td>36.63</td> <td>31.62</td> <td>33.91</td> <td>36.42</td> </tr> </table> <td>36.66</td> </tr> <tr> <td>0.928</td> <td>0.946</td> <td>0.958</td> <td>0.959</td> <td>0.928</td> <td>0.947</td> <td>0.958</td> <td>0.958</td> <td>0.938</td> <td>0.953</td> <td>0.963</td> <td>0.964</td> </tr> <tr> <td>0.052</td> <td>0.040</td> <td>0.037</td> <td>0.036</td> <td>0.052</td> <td>0.040</td> <td>0.036</td> <td>0.037</td> <td>0.040</td> <td>0.032</td> <td>0.029</td> <td>0.029</td> </tr> <tr> <td rowspan="3"><div align="left">OFF4</div></td> <td rowspan="3"><div align="center">PSNR↑ SSIM↑ LPIPS↓</div></td> <td>29.5</td> <td>32.98</td> <td>37.70</td> <td>38.48</td> <td>29.51</td> <td>32.97</td> <td>37.95</td> <td>38.59</td> <td>31.90</td> <td>34.61</td> <td>38.30</td> <td>38.74</td> </tr> <tr> <td>0.920</td> <td>0.941</td> <td>0.962</td> <td>0.964</td> <td>0.920</td> <td>0.941</td> <td>0.962</td> <td>0.964</td> <td>0.936</td> <td>0.953</td> <td>0.966</td> <td>0.967</td> </tr> <tr> <td>0.070</td> <td>0.049</td> <td>0.037</td> <td>0.035</td> <td>0.070</td> <td>0.049</td> <td>0.036</td> <td>0.036</td> <td>0.050</td> <td>0.036</td> <td>0.030</td> <td>0.031</td> </tr> <tr> <td rowspan="3"><div align="left">Avg.</div></td> <td rowspan="3"><div align="center">PSNR↑ SSIM↑ LPIPS↓</div></td> <td>30.62</td> <td>34.16</td> <td>37.49</td> <td>37.84</td> <td>30.63</td> <td>34.22</td> <td>37.71</td> <td>38.18</td> <td>31.83</td> <td>35.13</td> <td>38.18</td> <td>38.20</td> </tr> <tr> <td>0.929</td> <td>0.949</td> <td>0.964</td> <td>0.964</td> <td>0.929</td> <td>0.950</td> <td>0.964</td> <td>0.964</td> <td>0.939</td> <td>0.957</td> <td>0.967</td> <td>0.970</td> </tr> <tr> <td>0.056</td> <td>0.039</td> <td>0.032</td> <td>0.032</td> <td>0.056</td> <td>0.039</td> <td>0.032</td> <td>0.032</td> <td>0.043</td> <td>0.030</td> <td>0.026</td> <td>0.026</td> <div> 表 I. Replica 数据集的渲染比较。 ↓ 表示数值越小越好， ↑ 表示数值越大越好。最佳得分以粗体斜体显示。第二佳得分以斜体显示。 </div>

<table> <tr> <td colspan="2"><div align="center">方法</div></td> <td>R0</td> <td>R1</td> <td>R2</td> <td>OFF0</td> <td>OFF1</td> <td>OFF2</td> <td>OFF3</td> <td>OFF4</td> <td>平均</td> </tr> <tr> <td rowspan="4"><div align="left">3DGS GeoGaussian (我们的)</div></td> <td rowspan="2"><div align="center">均值 (m) 标准差 (m)</div></td> <td>0.026</td> <td>0.025</td> <td>0.042</td> <td>0.017</td> <td>0.019</td> <td>0.039</td> <td>0.032</td> <td>0.032</td> <td>0.029</td> </tr> <tr> <td>0.066</td> <td>0.081</td> <td>0.146</td> <td>0.050</td> <td>0.055</td> <td>0.201</td> <td>0.066</td> <td>0.112</td> <td>0.097</td> </tr> <tr> <td rowspan="2"><div align="center">均值 (m) 标准差 (m)</div></td> <td>0.018</td> <td>0.014</td> <td>0.015</td> <td>0.020</td> <td>0.029</td> <td>0.013</td> <td>0.018</td> <td>0.014</td> <td>0.018</td> </tr> <tr> <td>0.032</td> <td>0.016</td> <td>0.028</td> <td>0.042</td> <td>0.067</td> <td>0.024</td> <td>0.020</td> <td>0.023</td> <td>0.031</td> </tr> </table>

表 II. Replica 数据集上的重建性能比较。基于 Replica 数据集提供的地面真值网格模型,我们将这些网格模型与来自高斯模型的点云对齐,其中我们在每个高斯椭球中随机采样三个点。

⭕️ 致谢

本项目基于 3DGS 并依赖于 PlanarSLAM 工作提供的数据。感谢开源社区的贡献。

📋 许可证

本项目根据 Gaussian-Splatting 许可证发布。

✉️ 引用

如果您在研究中发现本项目有用,请考虑引用:

BibTex

@article{li2024geogaussian,
  title={GeoGaussian: Geometry-aware Gaussian Splatting for Scene Rendering},
  author={Li, Yanyan and Lyu, Chenyu and Di, Yan and Zhai, Guangyao and Lee, Gim Hee and Tombari, Federico},
  journal={arXiv preprint arXiv:2403.11324},
  year={2024}
}