splatviz

<div align="center"> <h1><img src="https://yellow-cdn.veclightyear.com/835a84d5/2db2bd6f-a17d-419a-8a6f-c16432e8d755.png" width="35"> splatviz</h1>

GitHub 主要语言 GitHub 发布 GitHub 最后提交

</div> <div align="justify"> 这个交互式查看器允许您实时显示和编辑3D高斯溅射场景。通过使用Python GUI库（<a href="https://pyimgui.readthedocs.io/en/latest/guide/first-steps.html">pyimgui</a>），我们可以在渲染之前直接操作高斯Python对象。这使得无限的编辑和可视化成为可能。您还可以在渲染后评估Python表达式，允许您实时访问和调试3D场景。此外，您可以通过并排比较或分屏视图同时可视化多个场景。最后，您还可以保存当前场景的渲染图、ply文件，甚至是场景360°旋转的视频。

在这个<a href="https://www.youtube.com/watch?v=AJGSa_wnZS8&ab_channel=FlorianBarthel">视频</a>中查看一些编辑示例。

最新更新： splatviz现在支持实时跟踪正在运行的3DGS训练：<a href="https://www.youtube.com/watch?v=lnMB83wnfvE">视频</a>。

</div> <div align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/50e2e441-f3ff-4367-aa8e-cd020d3cd630.png" width="650"> </div>

安装

<table> <tr> <th> 1. 下载 </th> <td colspan="2"> 递归克隆仓库以从diff_gaussian_rasterization包中安装glm。

git clone https://github.com/Florian-Barthel/splatviz.git --recursive

</td> </tr> <tr></tr> <tr> <th> 2. 安装 </th> <td> 使用<b>conda</b>创建conda环境：

conda env create \
-f environment.yml

conda activate gs-view

</td> <td> 或者，使用<b>micromamba</b>创建环境：

micromamba env create \
--file environment.yml \
--channel-priority flexible -y

micromamba activate gs-view

</td> </tr> </table>

启动

<table> <tr> <th>模式</th><th>描述</th><th>命令</th> </tr> <tr></tr> <tr> <td>默认模式</td> <td>默认模式加载并渲染存储在ply文件或压缩yml文件中的标准3DGS场景。</td> <td>

python run_main.py

或指定包含.ply或.yml文件的路径启动：

python run_main.py --data_path=path/with/ply/files

</td> </tr> <tr></tr> <tr> <td>附加到训练</td> <td>附加模式允许您查看和编辑正在运行的3DGS训练。这适用于3DGS的默认实现。要在训练期间编辑场景并查看一些额外信息，请按照<a href="splatviz_network/README.md">此处</a>描述的简单步骤操作。</td> <td>

python run_main.py --mode=attach

</td> </tr> <tr></tr> <tr> <td>解码器模式</td> <td>解码器模式渲染由3D GANs生成的人头，来自<a href="https://github.com/fraunhoferhhi/gaussian_gan_decoder/blob/main/README.md">这篇论文</a>。</td> <td>

python run_main.py \
--mode=decoder \
--data_path=path/with/pkl/files \
--ggd_path=path/to/gaussian_gan_decoder/project

</td> </tr> </table>

小部件

<div align="justify"> <details close> <summary><h3>🗃️ 加载小部件</h3></summary>

运行run_main.py文件后，查看器将直接加载在指定数据目录中找到的第一个场景。您可以通过点击浏览按钮更改场景。您将看到可用的_.ply_文件（或对应于使用<a href="https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/">此</a>压缩方法的压缩高斯场景的_.yml_文件）列表。如果您有很多场景可供选择，还可以使用过滤器文本字段提供逗号分隔的关键词（例如_lego,30000,baseline_）。然后您将只看到包含所有关键词的场景。

此外，您还可以同时查看多个3D场景。只需点击添加场景，它会加载与之前相同的场景，然后使用新的浏览按钮将相应的场景更改为另一个.ply文件。场景可以并排渲染，或在激活分屏复选框时以分屏模式渲染。

您可以在这里下载一些示例场景。它们是使用来自https://fraunhoferhhi.github.io/Self-Organizing-Gaussians 的高斯溅射压缩方法创建的。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/6d51d425-d619-4db4-a9e3-d28003cc5925.png"> </details> <details close> <summary><h3>🛠️ 编辑小部件</h3></summary>

编辑小部件是这个3D查看器的核心功能。它允许在运行时实时编辑高斯Python对象。您在此文本区域中输入的代码将在高斯对象被转发到cuda渲染器之前执行。这意味着，编辑能力是无限的。只要提供的代码可执行，您可以输入任何类型的Python代码，还可以导入新库。一个例子可能如下所示，其中所有尺度都设置为-8（在用_exp()_激活之前），所有不透明度值都设置为10（在用_sigmoid()_激活之前），同时背景设置为1，对应白色。

gaussian._scaling = gaussian._scaling * 0 - 8
gaussian._opacity = gaussian._opacity * 0 + 10
self.bg_color[:] = 1

为了实现平滑的编辑过渡，您可以创建滑块（按添加滑块），可以在编辑器文本中通过输入slider.name（例如slider.x）访问这些滑块。一个例子可能如下所示。在这里，我们创建一个布尔掩码，过滤掉所有小于存储在slider.x中的值的高斯。

mask = torch.linalg.norm(gaussian._scaling, dim=-1) < slider.x

gaussian._xyz = gaussian._xyz[mask]
gaussian._rotation = gaussian._rotation[mask]
gaussian._scaling = gaussian._scaling[mask]
gaussian._opacity = gaussian._opacity[mask]
gaussian._features_dc = gaussian._features_dc[mask]
gaussian._features_rest = gaussian._features_rest[mask]

最后，您可以保存和加载代码片段的预设，这样在关闭应用程序后就不必再次输入相同的代码。这些预设存储在.json文件（presets.json）中。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/78f7ae90-b392-4ee0-8854-60138efc09e5.png"> </details> <details close> <summary><h3>🔍 评估小部件</h3></summary>

评估小部件可用于调试高斯溅射对象。通过输入在渲染后执行的Python代码，您可以访问渲染上下文中的任何变量并在直方图中可视化它们。一些有用的变量可能是：

gaussian
render</li>
render_cam
self

您还可以访问在编辑小部件的编辑器中定义的变量。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/4611cb97-ab43-4add-8280-356443817c63.png"> </details> <details close> <summary><h3>🎥 相机小部件</h3></summary>

在相机小部件中，您可以定义相机的类型和参数。最重要的是，您可以在轨道和WASD两种模式之间选择。

在轨道模式下，相机注视3D空间中的特定点，您可以通过在渲染视图上用鼠标拖动来控制相机在围绕该点的球面上旋转的俯仰角和偏航角。

在WASD模式下，您可以使用鼠标和WASD键通过场景飞行，类似于Unity中的相机控制。

重要提示：如果加载的场景旋转不正确，您可以通过操纵相机使其直接向上或向下看来调整。然后通过按设置当前方向将上向量设置为当前视图方向。如果您之前是向下看的，您需要按翻转按钮，因为场景现在是倒置的。 <img src="https://yellow-cdn.veclightyear.com/835a84d5/3c67f3eb-cd1d-4a4c-906b-f5b65e270ee6.png">

</details> <details close> <summary><h3>🎞️ 视频小部件</h3></summary>

视频小部件可以创建当前对象完整旋转的视频序列。只需定义相机高度和渲染分辨率即可。在视频渲染过程中,用户界面将被冻结。终端输出中会显示一个加载屏幕。

🚧此功能仍在建设中🚧。目前生成视频的方式不太直观,因为相机位置仅由<b>相机高度</b>参数定义。这将在未来进行改进。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/097faf30-73c9-4638-8c8a-206ec2d02bbb.png"> </details> <details close> <summary><h3>📈 性能小部件</h3></summary> 在性能小部件中,你可以跟踪查看器的FPS和渲染器的FPS。你还可以为FPS指定限制并启用垂直同步。未来还将提供性能模式,跳过一些编辑和评估计算。 <img src="https://yellow-cdn.veclightyear.com/835a84d5/3e68e717-414f-4554-b478-0162691b7a8d.png"> </details> <details close> <summary><h3>🖥️ 渲染小部件</h3></summary>

在渲染选项卡中,你可以指定渲染分辨率(目前仅支持方形分辨率)和渲染模式。除了RGB,你还可以渲染图像的3D深度和alpha值。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/f7bf27ef-6762-4538-a3c3-b989a1caf6f1.png"> </details> <details close> <summary><h3>💾 保存小部件</h3></summary>

要保存.ply文件或当前(编辑后)3D场景的渲染,请按保存小部件中的相应按钮。这些文件将保存在_screenshots或_ply_files下。保存ply文件后,查看器可能会短暂冻结。

⭐ 最新功能

版本1.1.0

2024-08-12: 添加新的训练小部件,用于检查实时训练统计数据并暂停训练
2024-08-11: 连接到正在运行的3DGS训练
2024-08-10: 重构渲染类,便于添加新的渲染器
2024-08-07: 改进鼠标控制(使用中键平移)
2024-08-05: 允许编辑现有滑块
2024-07-30: 在预设中存储滑块值
2024-07-28: 新的性能小部件
2024-07-28: 编辑器现在突出显示特殊变量(gs、self、slider)并提供工具提示

版本1.0.0

2024-07-12: 使用imgui_bundle重建整个应用程序
2024-07-05: 并排比较两个或多个高斯散射场景

🔭 未来计划

测试其他3DGS渲染器以支持OSX
改进视频小部件
编写新部件或渲染器的教程

贡献

欢迎你为这个交互式查看器添加更多功能或更好的设计! 主要目标是创建一个易于使用的工具,可用于调试和理解3D高斯散射对象。请使用black进行代码格式化,并设置--line-length 120。

引用

如果你发现这个查看器有用,请考虑引用我们的工作:

@misc{barthel2024gaussian,
    title={Gaussian Splatting Decoder for 3D-aware Generative Adversarial Networks}, 
    author={Florian Barthel and Arian Beckmann and Wieland Morgenstern and Anna Hilsmann and Peter Eisert},
    year={2024},
    eprint={2404.10625},
    archivePrefix={arXiv},
    primaryClass={cs.CV}
}

参考文献

这个查看器的灵感来自Efficient Geometry-aware 3D Generative Adversarial Networks (EG3D)的可视化工具。

GUI: <a href="https://pyimgui.readthedocs.io/en/latest/guide/first-steps.html">pyimgui</a>和 <a href="https://github.com/pthom/imgui_bundle">imgui_bundle</a>,这些是c++库<a href="https://github.com/ocornut/imgui">ImGUI</a>的Python封装
原始代码库: <a href="https://github.com/NVlabs/eg3d">EG3D</a>
3DGS: <a href="https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/"> 3D Gaussian Splatting</a>
压缩3DGS场景: <a href="https://fraunhoferhhi.github.io/Self-Organizing-Gaussians/">Compact 3D Scene Representation via Self-Organizing Gaussian Grids</a>
具有深度和alpha的3DGS光栅化器: <a href="https://github.com/slothfulxtx/diff-gaussian-rasterization">Diff rasterizer with depth and alpha</a>