高斯涂抹SLAM

<p align="center"> <h1 align="center">高斯涂抹SLAM </h1> <p align="center"> <a href="https://muskie82.github.io/"><strong>*Hidenobu Matsuki</strong></a> · <a href="https://rmurai.co.uk/"><strong>*Riku Murai</strong></a> · <a href="https://www.imperial.ac.uk/people/p.kelly/"><strong>Paul H.J. Kelly</strong></a> · <a href="https://www.doc.ic.ac.uk/~ajd/"><strong>Andrew J. Davison</strong></a> </p> <p align="center">(* 等贡献)</p> <h3 align="center">CVPR 2024 (亮点)</h3> <h3 align="center"><a href="https://arxiv.org/abs/2312.06741">论文</a> | <a href="https://youtu.be/x604ghp9R_Q?si=nYoWr8h2Xh-6L_KN">视频</a> | <a href="https://rmurai.co.uk/projects/GaussianSplattingSLAM/">项目页面</a></h3> <div align="center"></div> <p align="center"> <a href=""> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/e4e06836-d2cd-4673-bf41-c19868797e9d.gif" alt="teaser" width="100%"> </a> <a href=""> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/b7b91938-6a34-4ef3-a66a-d8512b64d76c.jpg" alt="gui" width="100%"> </a> </p> <p align="center"> 本软件实现了我们在CVPR'24上发表的论文<a href="https://arxiv.org/abs/2312.06741">高斯涂抹SLAM</a>中提出的密集SLAM系统。该方法展示了第一个基于3D高斯涂抹的单目SLAM(左),也支持双目/RGB-D输入(中/右)。 </p> <br>

注意事项

在学术论文中, 请引用我们的工作为"高斯涂抹SLAM"或简称"MonoGS"(这个repos的名称),以免与其他工作混淆。
差分高斯光栅化器与相机姿态梯度计算可在此处获得。
[新] 代码的加速版本可在dev.speedup分支中找到, 它能在fr3/office序列上达到10fps的速度,同时保持一致的性能(在RTX4090/i9-12900K上测试)。代码将在进一步重构和测试后合并到主分支。

入门指南

安装

git clone https://github.com/muskie82/MonoGS.git --recursive
cd MonoGS

设置环境。

conda env create -f environment.yml
conda activate MonoGS

根据你的设置,请按照这个文档修改environment.yml中pytorch/cudatoolkit的依赖版本。

我们的测试环境为:

Ubuntu 20.04: pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.6
Ubuntu 18.04: pytorch==1.12.1 torchvision==0.13.1 torchaudio==0.12.1 cudatoolkit=11.3

快速演示

bash scripts/download_tum.sh
python slam.py --config configs/mono/tum/fr3_office.yaml

你将看到一个GUI窗口弹出。

下载数据集

运行以下脚本将自动将数据集下载到./datasets文件夹。

TUM-RGBD数据集

bash scripts/download_tum.sh

Replica数据集

bash scripts/download_replica.sh

EuRoC MAV数据集

bash scripts/download_euroc.sh

运行

单目

python slam.py --config configs/mono/tum/fr3_office.yaml

RGB-D

python slam.py --config configs/rgbd/tum/fr3_office.yaml

python slam.py --config configs/rgbd/replica/office0.yaml

或单进程版本

python slam.py --config configs/rgbd/replica/office0_sp.yaml

双目(实验性)

python slam.py --config configs/stereo/euroc/mh02.yaml

使用Realsense进行实时演示

首先,你需要安装pyrealsense2。在conda环境中,运行:

pip install pyrealsense2

将Realsense相机连接到PC的USB-3端口,然后运行:

python slam.py --config configs/live/realsense.yaml

我们使用了英特尔Realsense d455进行测试。我们建议使用类似的全局快门相机以获得稳健的相机跟踪。在初始BA完成之前,请避免激烈的相机运动。查看我们YouTube视频的前15秒,了解如何移动相机进行初始化。我们建议使用dev.speed-up分支中的代码进行实时演示。

评估

要评估该方法,请使用--eval命令行参数运行SLAM系统:

python slam.py --config configs/mono/tum/fr3_office.yaml --eval

此标志将自动以无头模式运行我们的系统,并记录包括渲染指标在内的结果。

可重复性

发布版本和论文中的结果之间可能会有微小差异。请记住,多进程性能由于GPU利用率而存在一些随机性。我们在RTX 4090上运行所有实验,在使用不同GPU时,性能可能会有所不同。

致谢

这项工作结合了许多开源代码。我们对这些软件的作者表示感谢。

许可证

MonoGS在LICENSE.md下发布。有关不属于MonoGS作者的代码依赖项列表,请查看Dependencies.md。

引用

如果您发现这个代码/工作在您自己的研究中有用,请考虑引用以下内容:

@inproceedings{Matsuki:Murai:etal:CVPR2024,
  title={{G}aussian {S}platting {SLAM}},
  author={Hidenobu Matsuki and Riku Murai and Paul H. J. Kelly and Andrew J. Davison},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}