使用高斯曲面元的高质量表面重建

本代码基于出色的3DGS代码库构建，并借鉴了IDR的数据预处理/加载部分。

环境配置

我们在Ubuntu 22.04.3、CUDA 11.8和Python 3.7的conda环境下进行实验。

克隆此仓库：

git clone https://github.com/turandai/gaussian_surfels.git
cd gaussian_surfels

创建conda环境：

conda env create --file environment.yml
conda activate gaussian_surfels

如果需要重新编译并重新安装CUDA光栅化器：

cd submodules/diff-gaussian-rasterization
python setup.py install && pip install .

数据准备

我们在DTU和BlendedMVS数据集的子集上测试我们的方法。我们从DTU选择了15个场景，从BlendedMVS选择了18个场景，然后按照IDR数据约定对数据进行预处理和标准化。我们还采用Omnidata生成单目法线先验。您可以从这里下载数据。

要在您自己的未定位数据上进行测试，我们建议使用COLMAP进行SfM初始化。要为您自己的数据估计单目法线，请按照Omnidata的说明进行额外的环境设置。下载预训练模型并运行法线估计：

cd submodules/omnidata
sh tools/download_surface_normal_models.sh
python estimate_normal.py --img_path path/to/your/image/directory

请注意，上述DTU和BlendedMVS场景的预计算法线已包含在下载的数据集中，因此您无需为它们运行法线估计。

训练

要训练一个场景：

python train.py -s path/to/your/data/directory

训练好的模型将保存在output/中。要从训练好的模型渲染图像和重建网格：

python render.py -m path/to/your/trained/model --img --depth 10

我们使用屏蔽泊松表面重建来提取网格，在render.py中的这一行：

poisson_mesh(path, wpos, normal, color, poisson_depth, prune_thrsh)

在您的输出文件夹中，xxx_plain.ply是使用默认深度10进行泊松重建后的原始网格。对于较大规模的场景，您可能需要使用更高的深度级别。要获得更平滑的网格，您可以降低深度值。我们使用一定的阈值修剪泊松网格以移除离群面，并输出xxx_pruned.ply。这个过程有时可能会过度修剪网格并导致孔洞。您可以相应地增加"prune_thrsh"参数。

评估

要评估DTU上的几何精度，您必须下载DTU地面真实点云。对于BlendedMVS评估，我们融合、去噪并标准化了地面真实多视图深度图到全局点云作为地面真实几何，这包含在我们提供的可下载数据集中。我们遵循之前的工作，使用这个代码计算地面真实点云和重建网格之间的Chamfer距离。

# DTU评估：
python eval.py --dataset dtu --source_path path/to/your/data/directory --mesh_path path/to/your/mesh --dtu_gt_path path/to/DTU/MVSData --dtu_scanId ID
# BlendedMVS评估：
python eval.py --dataset bmvs --source_path path/to/your/data/directory --mesh_path path/to/your/mesh

<section class="section" id="BibTeX"> <div class="container is-max-desktop content"> <h2 class="title">BibTeX</h2> <pre><code>@inproceedings{Dai2024GaussianSurfels, author = {Dai, Pinxuan and Xu, Jiamin and Xie, Wenxiang and Liu, Xinguo and Wang, Huamin and Xu, Weiwei}, title = {High-quality Surface Reconstruction using Gaussian Surfels}, publisher = {Association for Computing Machinery}, booktitle = {ACM SIGGRAPH 2024 Conference Papers}, year = {2024}, articleno = {22}, numpages = {11} }</code></pre> </div> </section>