TRIPS: 用于实时辐射场渲染的三线性点溅射

<div style="text-align: center;">Linus Franke, Darius Rückert, Laura Fink, Marc Stamminger</div>

基于点的辐射场渲染在新视角合成方面展示了令人印象深刻的结果,提供了渲染质量和计算效率的极佳结合。然而,该领域的最新方法也并非没有缺陷。3D高斯溅射[Kerbl和Kopanas等人,2023]在渲染高度细节场景时存在问题,会出现模糊和云状伪影。另一方面,ADOP [Rückert等人,2022]可以生成更清晰的图像,但神经重建网络降低了性能,还存在时间不稳定性,且无法有效处理点云中的大间隙。

在本文中,我们提出了TRIPS(三线性点溅射),这是一种结合了高斯溅射和ADOP思想的方法。我们新技术的基本概念是将点栅格化到屏幕空间图像金字塔中,图像金字塔层的选择由投影点大小决定。这种方法允许使用单个三线性写入来渲染任意大小的点。然后使用轻量级神经网络重建无空洞图像,包括超出溅射分辨率的细节。重要的是,我们的渲染管线完全可微,允许自动优化点的大小和位置。

我们的评估表明,TRIPS在渲染质量方面超越了现有最先进的方法,同时在普通硬件上保持60帧每秒的实时帧率。这种性能甚至适用于具有复杂几何形状、广阔景观和自动曝光镜头的场景等具有挑战性的情况。

[项目页面] [论文] [Youtube] [补充数据]

引用

@article{franke2024trips,
    title={TRIPS: Trilinear Point Splatting for Real-Time Radiance Field Rendering},
    author={Linus Franke and Darius R{\"u}ckert and Laura Fink and Marc Stamminger},
    year = {2024},
    journal = {Computer Graphics Forum},
    volume = {43},
    number = {2},
    doi = {https://doi.org/10.1111/cgf.15012}
}

安装要求

支持的操作系统: Ubuntu 22.04, Windows

Nvidia GPU (我们测试的最低配置为RTX2070)

支持的编译器: g++-9 (Linux), MSVC (Windows, 我们使用的是19.31.31105.0)

软件要求: Conda (Anaconda/Miniconda)

Linux安装说明

安装Ubuntu依赖

sudo apt install git build-essential gcc-9 g++-9

对于查看器,还需安装:

sudo apt install xorg-dev

(有一个无头模式,不需要窗口管理,用于在集群上训练,见下文)

克隆仓库

git clone git@github.com:lfranke/TRIPS.git
cd TRIPS/
git submodule update --init --recursive --jobs 0

创建Conda环境

cd TRIPS
./create_environment.sh

安装Pytorch

cd TRIPS
./install_pytorch_precompiled.sh

安装CuDNN

可以下载最新版本并将其添加到conda环境中(安装了CUDA 11.8的地方,这篇文章是一个有用的资源),或通过conda安装:

conda activate trips
conda install -y -c conda-forge cudnn=8.9.2

在我们的实验中,我们使用了CuDNN 8.9.5,但conda安装的版本(8.9.2)应该也能正常工作。

编译TRIPS

cd TRIPS

conda activate trips

export CONDA=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}
export CC=gcc-9
export CXX=g++-9
export CUDAHOSTCXX=g++-9

unset CUDA_HOME

mkdir build
cd build

cmake -DCMAKE_PREFIX_PATH="./External/libtorch/;${CONDA}" ..

make -j10

make可能需要很长时间,特别是对于一些CUDA文件。

如果在链接时遇到undefined reference to ...@GLIBCXX_3.4.30'错误,很可能是你的链接器无法解析全局和conda版本的C++标准库。

考虑从conda环境中删除libstdc++库:

cd TRIPS

conda activate trips

export CONDA=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}

rm $CONDA/lib/libstdc++.so*

Windows安装说明

软件要求

VS2022
CUDA 11.8 (确保至少包含Nsight NVTX, Development/*, Runtime/Libraries/*和Visual Studio集成)
Cudnn (按照安装说明复制到11.8文件夹中,见下文)
conda (我们使用Anaconda3)

[首次启动VS2022以进行CUDA集成设置]

安装CuDNN

下载最新版本并将其添加到CUDA 11.8安装目录中(这篇文章是一个有用的资源)。

我们使用了CuDNN 8.9.7,但类似版本也应该能正常工作。

克隆仓库

git clone git@github.com:lfranke/TRIPS.git
cd TRIPS/
git submodule update --init --recursive --jobs 8

设置环境

conda update -n base -c defaults conda

conda create -y -n trips python=3.9.7

conda activate trips

conda install -y cmake=3.26.4
conda install -y -c intel mkl=2024.0.0
conda install -y -c intel mkl-static=2024.0.0
conda install openmp=8.0.1 -c conda-forge

安装libtorch

下载: https://download.pytorch.org/libtorch/cu116/libtorch-win-shared-with-deps-1.13.1%2Bcu116.zip
解压
复制到TRIPS/External

文件夹结构应如下所示:

TRIPS/
    External/
        libtorch/
            bin/
            cmake/
            include/
            lib/
            ...
        saiga/
        ...
    src/
    ...

编译TRIPS

配置(如果使用conda提示符shell):

cmake -Bbuild -DCMAKE_CUDA_COMPILER="%CUDA_PATH%\bin\nvcc.exe" -DCMAKE_PREFIX_PATH=".\External\libtorch" -DCONDA_P_PATH="%CONDA_PREFIX%" -DCUDA_P_PATH="%CUDA_PATH%" -DCMAKE_BUILD_TYPE=RelWithDebInfo .

或者: 配置(如果使用conda powershell):

cmake -Bbuild -DCMAKE_CUDA_COMPILER="$ENV:CUDA_PATH\bin\nvcc.exe" -DCMAKE_PREFIX_PATH=".\External\libtorch" -DCONDA_P_PATH="$ENV:CONDA_PREFIX" -DCUDA_P_PATH="$ENV:CUDA_PATH" -DCMAKE_BUILD_TYPE=RelWithDebInfo .

编译(两种shell都适用):

cmake --build build --config RelWithDebInfo -j

最后的cmake构建调用可能需要很长时间。

Docker安装说明

感谢用户abecadel提供这些Docker说明。

安装Docker

确保已安装支持GPU的Docker

克隆仓库

git clone git@github.com:lfranke/TRIPS.git
cd TRIPS/
git submodule update --init --recursive --jobs 0

构建docker镜像

docker build -t trips .

运行训练

docker run -v {data_path}:/data -it trips /bin/bash
./train --config configs/train_normalnet.ini

运行查看器(仅限Linux)

首先启用Docker的X转发

sudo xhost +local:docker

现在你可以运行查看器了

docker run --device /dev/dri/ -v `pwd`/tt_scenes/:/scenes --rm -it --gpus all --net=host --env DISPLAY=$DISPLAY trips viewer --scene_dir /scenes/tnt_scenes/tt_train

在预训练模型上运行

补充材料链接: https://zenodo.org/records/10664666

成功编译后,开始的最佳方式是使用我们的预训练模型在tanks and temples场景上运行viewer。首先,下载场景(tt_scenes.zip)并将其解压到scenes/目录。然后,下载模型检查点(tt_checkpoints.zip)并将其解压到experiments/目录。你的文件夹结构应如下所示:

TRIPS/
    build/
        ...
    experiments/
        checkpoint_train
        checkpoint_playground
        ...
    scenes/
        tt_train/
        tt_playground/
        ...
    ...

补充数据还包括船只的数据(检查点和场景合并在一个zip文件中),mipnerf360场景(使用论文中的分辨率)和mipnerf360检查点。

查看器

Linux

使用以下命令启动查看器

conda activate trips
export CONDA=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA/lib
./build/bin/viewer --scene_dir scenes/tt_train

(注意,tt_train是Tanks&Temples火车头场景的场景名称)

Windows

./build/bin/RelWithDebInfo/viewer.exe  --scene_dir scenes/tt_train

(根据使用的shell,可能需要使用完整路径C:\....\TRIPS\build\bin\...)

路径与Linux路径不同,添加了编译配置(RelWithDebInfo)!

(注意,tt_train是Tanks&Temples火车头场景的场景名称)

查看器控制

最重要的键盘快捷键是：

F1: 切换到3D视图
F2: 切换到神经视图
F3: 切换到分屏视图（默认）
F4: 切换到点渲染视图
WASD: 移动摄像机
鼠标中键 + 拖动: 围绕摄像机中心旋转
鼠标左键 + 拖动: 围绕世界中心旋转
在3D视图中右击: 选择摄像机
Q: 将摄像机移动到选定的摄像机位置

默认情况下，TRIPS编译时使用简化的GUI。如果你想显示所有GUI按钮，可以在第一次cmake调用时添加 -DMINIMAL_GUI=OFF 来编译这个版本。

场景描述

TRIPS使用ADOP的场景格式。
ADOP使用一种简单的基于文本的场景描述格式。
要在你自己的场景上运行，你需要将它们转换为这种格式。
如果你使用COLMAP创建了场景（就像我们一样），你可以使用colmap2adop转换器。
更多关于这个主题的信息可以在这里找到：scenes/README.md

训练

通过train可执行文件将管道适配到你的场景。所有训练参数都存储在一个单独的配置文件中。基本语法是：

Linux:

conda activate trips
export CONDA=${CONDA_PREFIX:-"$(dirname $(which conda))/../"}
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA/lib

./build/bin/train --config configs/train_normalnet.ini

Windows:

./build/bin/RelWithDebInfo/train.exe --config configs/train_normalnet.ini

（根据shell的不同，可能需要使用完整路径 C:\....\TRIPS\build\bin\...）

再次确保工作目录是根目录。否则，将找不到损失模型。

为论文中使用的两个网络提供了两个配置：train_normalnet.ini和train_sphericalnet.ini 你可以通过命令行轻松覆盖这些配置中的选项。

./build/bin/train --config configs/train_normalnet.ini --TrainParams.scene_names tt_train --TrainParams.name new_name_for_this_training

（注意，tt_train是Tanks&Temples火车头场景的场景名称）

对于具有广阔环境的场景，考虑添加环境贴图：

--PipelineParams.enable_environment_map true

如果GPU内存不足，考虑降低 batch_size（标准为4）、inner_batch_size（标准为4）或 train_crop_size（标准为512），例如：

--TrainParams.batch_size 1
--TrainParams.inner_batch_size 2
--TrainParams.train_crop_size 256

（但这可能会影响质量）。

默认情况下，训练期间每8张图像中会移除1张作为测试图像。如果你想更改这个分割，考虑覆盖应该保留多少比例的图像不参与训练：

--TrainParams.train_factor 0.1

默认值为0.125（即1/8）。

训练期间的实时查看器

实现了一个实验性的实时查看器，可以在训练过程中在OpenGL窗口中显示拟合过程。如果不需要无头模式（见下文），你可以在第一次cmake调用时添加 -DLIVE_TRAIN_VIEWER=ON 来编译这个版本。

注意：这将影响训练速度，因为在训练期间会渲染中间（完整）图像。

无头模式

如果你不想要查看器应用程序，考虑在调用cmake时添加 -DHEADLESS=ON。这通常用于在远程机器上进行训练。

故障排除

查看器启动时只有一个视图（模型视图），切换到不同视图时崩溃
- 这通常意味着场景没有实验数据。确保你下载了检查点并将它们解压到 experiments/ 文件夹中，或者自己训练场景。
scenes/ 文件夹和 experiments/ 文件夹分别应该包含什么？
- scenes/ 文件夹包含colmap2adop处理的输出。这通常包括 point_cloud.{ply/bin}、图像和 poses.txt（参见scenes/README.md）。
- experiments文件夹包含检查点，并在训练期间用于创建检查点。这些通常包括使用的配置（params.ini）和基于epoch命名的子文件夹（例如，epoch 600的 ep0600）。这些子文件夹包括 .pth torch张量保存文件以及测试输出图像。