gsplat

http://www.gsplat.studio/

gsplat是一个开源库，用于CUDA加速高斯点的光栅化，并提供Python绑定。它受到SIGGRAPH论文《3D高斯点绘制用于辐射场的实时渲染》的启发，但我们让gsplat变得更快、更节省内存，并且还有越来越多的新功能！

<div align="center"> <video src="https://github.com/nerfstudio-project/gsplat/assets/10151885/64c2e9ca-a9a6-4c7e-8d6f-47eeacd15159" width="100%" /> </div>

安装

依赖：请先安装Pytorch。

最简单的方法是从PyPI安装。这种方式会在首次运行时构建CUDA代码（即时编译）。

pip install gsplat

或者从源代码安装。这种方式会在安装过程中构建CUDA代码。

pip install git+https://github.com/nerfstudio-project/gsplat.git

要在Windows上安装gsplat，请查看这份说明。

评估

本仓库附带了一个独立脚本，可以重现官方高斯点绘制的性能，在PSNR、SSIM、LPIPS和收敛的高斯点数量上完全相同。得益于gsplat高效的CUDA实现，训练所需的GPU内存最多可减少4倍，完成时间最多可缩短15%。完整报告可以在这里找到。

# 在examples/目录下
pip install -r requirements.txt
# 下载mipnerf_360基准数据集
python datasets/download_dataset.py
# 运行批量评估
bash benchmarks/basic.sh

示例

我们提供了一系列示例来帮助你入门！以下是关于这些示例的详细信息（需要通过pip install -r examples/requirements.txt安装一些额外的依赖）

• 在COLMAP捕获的场景上训练3D高斯点绘制模型。
• 用3D高斯点拟合2D图像。
• 实时渲染大型场景。

开发和贡献

这个仓库源于Nerfstudio团队成员对理解新渲染技术的好奇心。我们欢迎任何形式的贡献，并乐于接受反馈、错误报告和改进建议，以帮助扩展这个软件的功能。

本项目由以下杰出贡献者开发（排名不分先后）：

• Angjoo Kanazawa（加州大学伯克利分校）：项目导师。
• Matthew Tancik（Luma AI）：项目导师。
• Vickie Ye（加州大学伯克利分校）：项目负责人。v0.1版本负责人。
• Matias Turkulainen（阿尔托大学）：核心开发者。
• Ruilong Li（加州大学伯克利分校）：核心开发者。v1.0版本负责人。
• Justin Kerr（加州大学伯克利分校）：核心开发者。
• Brent Yi（加州大学伯克利分校）：核心开发者。
• Zhuoyang Pan（上海科技大学）：核心开发者。
• Jianbo Ye（亚马逊）：核心开发者。

我们还提供了数学补充材料，包括约定和推导，可在这里查看。如果您在项目或论文中发现这个库有用，请考虑引用：

@misc{ye2023mathematical,
    title={Mathematical Supplement for the $\texttt{gsplat}$ Library}, 
    author={Vickie Ye and Angjoo Kanazawa},
    year={2023},
    eprint={2312.02121},
    archivePrefix={arXiv},
    primaryClass={cs.MS}
}

我们欢迎任何形式的贡献，并乐于接受反馈、错误报告和改进建议，以帮助扩展这个软件的功能。有关开发的更多信息，请查看docs/DEV.md。