VGGSfM: 基于视觉几何的深度结构运动恢复

预览图

王建元, Nikita Karaev, Christian Rupprecht, David Novotny

更新:

[2024年8月6日]
- VGGSfM 现已作为 Python 包发布,更易于集成到其他代码库中!
- 引入了新的 VGGSfMRunner 类,作为所有功能的中央控制器。
- 增加了 gradio 可视化支持,通过 gr_visualize 控制。
[2024年7月28日]
- 增加了使用 masks 过滤动态物体的支持。我们将很快添加示例,但你可以查看 demo_loader.py 快速了解。
- 增加了 visual_dense_point_cloud 支持。
[2024年7月10日] 现在我们支持导出密集深度图!
很高兴分享我们在 CVPR24 IMC 挑战赛中在相机姿态(旋转和平移)估计方面排名第一 🥇。

安装

我们提供了一个简单的安装脚本,默认设置一个 conda 环境,包含 Python 3.10、PyTorch 2.1 和 CUDA 12.1。

source install.sh
python -m pip install -e .

这个脚本安装官方的 pytorch3d、lightglue、pycolmap、poselib 和 visdom。如果你无法在你的机器上安装 pytorch3d，可以随意注释掉那一行,因为现在我们只在 visdom 可视化时使用它(即 cfg.viz_visualize=True)。

演示

1. 下载模型

模型检查点将自动从 Hugging Face 下载。你也可以手动从 Hugging Face 和 Google Drive 下载。如果你想手动指定检查点路径,请在 resume_ckpt 中设置路径,并将 auto_download_ckpt 设为 False。

2. 运行演示

现在是时候享受你的 3D 重建了!你可以从我们提供的示例开始:

# 使用默认设置
python demo.py SCENE_DIR=examples/kitchen 

# 指定查询方法: sp+sift (默认: aliked)
python demo.py SCENE_DIR=examples/statue query_method=sp+sift

# 将查询点数增加到 4096 (默认: 2048)
python demo.py SCENE_DIR=examples/british_museum max_query_pts=4096 

# 假设所有帧共享一个相机模型,并
# 使用 SIMPLE_RADIAL 相机模型而不是默认的 SIMPLE_PINHOLE
python demo.py shared_camera=True camera_type=SIMPLE_RADIAL

# 如果你想快速重建而不进行精细跟踪
python demo.py SCENE_DIR=examples/kitchen fine_tracking=False

所有标志的默认设置都在 cfgs/demo.yaml 中指定。你可以根据需要调整这些标志,例如减少 max_query_pts 以降低 GPU 内存使用。要为场景强制使用共享相机模型,设置 shared_camera=True。要使用不同方法的查询点,将 query_method 设置为 sp、sift、aliked 或任何组合如 sp+sift。fine_tracking 默认设置为 True。将其设置为 False 以切换到粗略模式以加快推理速度。

要在 32 GB GPU 上对 100 帧的场景进行重建,你可以从以下设置开始:

python demo.py SCENE_DIR=TO/YOUR/PATH max_query_pts=1024 query_frame_num=6

重建结果(相机参数和 3D 点)将以 COLMAP 格式自动保存在 SCENE_DIR 下,如 cameras.bin、images.bin 和 points3D.bin。这种格式广泛支持最近的 NeRF/高斯散射代码库。你可以使用 COLMAP GUI 或 viser 查看重建结果。

3. 可视化

如果你想更轻松地可视化,我们还提供了使用 Visdom 和 Gradio 的可视化选项。

3.1 Visdom 可视化

要开始使用 Visdom,在命令行中输入 visdom 启动服务器。服务器运行后,在网络浏览器中访问 http://localhost:8097 即可访问 Visdom。现在,通过启用 viz_visualize=True,每次重建都可以在 Visdom 服务器上可视化和保存:

python demo.py viz_visualize=True ...(其他标志)

你应该会看到如下界面:

用户界面

3.2 Gradio 可视化

对于无服务器选项,通过将 gr_visualize 设置为 True 来使用 Gradio。这将生成一个可从任何浏览器访问的链接(但可能需要几秒钟加载)。

python demo.py gr_visualize=True ...(其他标志)

3.3 额外可视化

2D 重投影:
- 要可视化重建 3D 点的 2D 重投影,将 make_reproj_video 标志设置为 True。这将在 SCENE_DIR/visuals 目录中生成一个名为 reproj.mp4 的视频。例如:

轨迹预测：
- 要可视化我们的轨迹预测器的原始预测结果，请启用 visual_tracks=True 以生成 track.mp4。在此视频中，透明点表示可见度或置信度较低。

4. 尝试使用您自己的数据

您只需要指定数据的地址，例如：

python demo.py SCENE_DIR=examples/YOUR_FOLDER ...(其他标志)

请确保图像存储在 YOUR_FOLDER/images 中。此文件夹应仅包含图像。请查看 examples 文件夹以了解所需的数据结构。

尽情享受，如果遇到任何问题，请随时创建一个issue。SfM总是涉及一些棘手的情况。我很乐意提供帮助。如果您不想公开分享您的图像，请通过电子邮件将它们发送给我。

5. 密集深度图（测试版）

我们支持借助 Depth-Anything-V2 提取密集深度图。基本上，我们使用VGGSfM预测的稀疏SfM点云来对齐Depth-Anything-V2的密集深度预测。要启用此功能，请首先克隆Depth-Anything-V2并安装scikit-learn：

pip install scikit-learn
git clone git@github.com:DepthAnything/Depth-Anything-V2.git dependency/depth_any_v2
python -m pip install -e .

然后，在运行demo.py时只需设置 dense_depth=True。深度图将以COLMAP格式（如 *.bin）保存在 cfg.SCENE_DIR 下的 depths 文件夹中。要在Visdom中可视化密集点云（反投影密集深度图），请设置 visual_dense_point_cloud=True（注意，当点数过多时，打开Visdom页面可能需要几秒钟）。

常见问题

如果遇到内存不足错误，我该怎么办？

要解决内存不足错误，您可以简单地尝试将 max_query_pts 的数量降低到更小的值。请注意，这可能会导致点云更稀疏，并可能影响重建的准确性。请注意，在最新的提交中，query_frame_num 的值不再影响GPU内存消耗。您可以随意增加 query_frame_num。

如何处理视图重叠很少的稀疏数据？

对于视图稀疏且重叠很少的场景，最简单的解决方案是将 query_frame_num 设置为您的图像总数，并使用4096或更多的 max_query_pts。这确保了所有帧都被注册。由于我们只有稀疏的视图，推理过程仍然非常快。例如，以下命令大约用了20秒来重建一个8帧的场景：

python demo.py SCENE_DIR=a_scene_with_8_frames query_frame_num=8 max_query_pts=4096 query_method=aliked

什么时候应该将 shared_camera 设置为True？

当您知道输入帧是由同一台相机捕获的，并且在捕获过程中相机焦距没有显著变化时，请将 shared_camera 设置为True。这个假设通常适用于从视频中提取的图像。

测试

我们仍在准备VGGSfM v2的测试脚本。但是，您可以使用我们的VGGSfM v1.1代码来重现论文中的基准结果。请参考 v1.1 分支。

致谢

我们受到 colmap、pycolmap、posediffusion、cotracker 和 kornia 的高度启发。

许可证

有关此代码可用性的许可证详细信息，请参阅 LICENSE 文件。

引用VGGSfM

如果您觉得我们的仓库有用，请考虑给它一个星标 ⭐ 并在您的工作中引用我们的论文：

@inproceedings{wang2024vggsfm,
  title={VGGSfM: Visual Geometry Grounded Deep Structure From Motion},
  author={Wang, Jianyuan and Karaev, Nikita and Rupprecht, Christian and Novotny, David},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={21686--21697},
  year={2024}
}