<p align="center"> <h1 align="center">高斯不透明度场：无界场景中高效紧凑的表面重建</h1> <p align="center"> <a href="https://niujinshuchong.github.io/">余泽豪</a> · <a href="https://tsattler.github.io/">Torsten Sattler</a> · <a href="http://www.cvlibs.net/">Andreas Geiger</a> </p> <h3 align="center"><a href="https://drive.google.com/file/d/13i3HeVBiqN8JXnwAzTvQrPz2rShxIhMv/view?usp=sharing">论文</a> | <a href="https://arxiv.org/pdf/2404.10772.pdf">arXiv</a> | <a href="https://niujinshuchong.github.io/gaussian-opacity-fields/">项目主页</a> </h3> <div align="center"></div> </p> <p align="center"> <a href=""> <img src="https://yellow-cdn.veclightyear.com/835a84d5/dbd121ce-2f82-4914-940f-fb0583a7cf38.png" alt="Logo" width="95%"> </a> </p> <p align="center"> 高斯不透明度场（GOF）通过识别水平集直接实现3D高斯的几何提取。我们的正则化改进了表面重建，并利用四面体行进法进行自适应和紧凑的网格提取。</p> <br>

更新

[2024.06.10]: 🔥 通过合并操作将训练速度提高2倍。TNT数据集中的6个场景可在约24分钟内训练完成，Mip-NeRF 360数据集中的自行车场景可在约45分钟内训练完成。请拉取最新代码并使用pip install submodules/diff-gaussian-rasterization重新安装以使用它。

安装

克隆仓库并使用以下命令创建Anaconda环境

git clone git@github.com:autonomousvision/gaussian-opacity-fields.git
cd gaussian-opacity-fields

conda create -y -n gof python=3.8
conda activate gof

pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 -f https://download.pytorch.org/whl/torch_stable.html
conda install cudatoolkit-dev=11.3 -c conda-forge

pip install -r requirements.txt

pip install submodules/diff-gaussian-rasterization
pip install submodules/simple-knn/

# 用于三角剖分的tetra-nerf
cd submodules/tetra-triangulation
conda install cmake
conda install conda-forge::gmp
conda install conda-forge::cgal
cmake .
# 你可以指定你自己的cuda路径
# export CPATH=/usr/local/cuda-11.3/targets/x86_64-linux/include:$CPATH
make 
pip install -e .

数据集

请从官方网站下载Mip-NeRF 360数据集，从NeRF的官方Google Drive下载NeRF-Synthetic数据集，从2DGS下载预处理的DTU数据集，从这里下载预处理的Tanks and Temples数据集。你需要从DTU数据集下载地面真实点云并保存到dtu_eval/Offical_DTU_Dataset以评估几何重建。对于Tanks and Temples数据集，你需要下载地面真实点云、对齐和裁剪文件，并保存到eval_tnt/TrainingSet，例如eval_tnt/TrainingSet/Caterpillar/Caterpillar.ply。

训练和评估

# 你可能需要相应地更新脚本中的数据路径

# NeRF-synthetic数据集
python scripts/run_nerf_synthetic.py

# Mip-NeRF 360数据集
python scripts/run_mipnerf360.py

# Tanks and Temples数据集
python scripts/run_tnt.py

# DTU数据集
python scripts/run_dtu.py

自定义数据集

我们使用与3DGS相同的数据格式，请按照这里准备你的数据集。然后你可以训练你的模型并提取网格（我们以Tanks and Temples数据集为例）

# 训练
# -r 2 表示使用因子2下采样的图像
# --use_decoupled_appearance 启用解耦外观建模，如果你的图像有变化的光照条件
python train.py -s TNT_GOF/TrainingSet/Caterpillar -m exp_TNT/Caterpillar -r 2 --use_decoupled_appearance

# 训练后提取网格
python extract_mesh.py -m exp_TNT/Caterpillar --iteration 30000

# 你可以用meshlab打开提取的网格，或使用以下基于open3d的脚本
python mesh_viewer.py exp_TNT/Caterpillar/test/ours_30000/fusion/mesh_binary_search_7.ply

致谢

本项目基于3DGS和Mip-Splatting构建。正则化和一些可视化来自2DGS。四面体三角剖分来自Tetra-NeRF。四面体行进法改编自Kaolin库。DTU和Tanks and Temples数据集的评估脚本分别来自DTUeval-python和TanksAndTemples。我们感谢所有作者的出色工作和代码库。

引用

如果你发现我们的代码或论文有用，请引用

@article{Yu2024GOF,
  author    = {Yu, Zehao and Sattler, Torsten and Geiger, Andreas},
  title     = {Gaussian Opacity Fields: Efficient High-quality Compact Surface Reconstruction in Unbounded Scenes},
  journal   = {arXiv:2404.10772},
  year      = {2024},
}

如果你发现正则化有用，请引用

@inproceedings{Huang2DGS2024,
    title={2D Gaussian Splatting for Geometrically Accurate Radiance Fields},
    author={Huang, Binbin and Yu, Zehao and Chen, Anpei and Geiger, Andreas and Gao, Shenghua},
    publisher = {Association for Computing Machinery},
    booktitle = {SIGGRAPH 2024 Conference Papers},
    year      = {2024},
    doi       = {10.1145/3641519.3657428}
}