VGGSfM: 视觉几何基础的深度结构from运动重建技术

VGGSfM:视觉几何基础的深度结构from运动重建技术

结构from运动(Structure-from-Motion, SfM)是计算机视觉领域一个长期存在的问题,旨在从一组无约束的2D图像中重建场景的相机姿态和3D结构。近年来,深度学习技术在增强SfM pipeline的特定元素(如关键点匹配)方面取得了显著进展,但大多数方法仍然基于原始的、不可微分的pipeline。为了突破这一限制,来自Meta AI研究院和牛津大学视觉几何组(VGG)的研究人员提出了一种全新的深度SfM pipeline - VGGSfM。

VGGSfM的创新之处

VGGSfM的最大特点在于其pipeline中的每个组件都是完全可微分的,因此可以进行端到端的训练。为了实现这一目标,研究人员引入了一些新的机制和简化:

基于深度2D点跟踪的可靠像素级跟踪:利用深度学习在2D点跟踪方面的最新进展,VGGSfM能够提取可靠的像素级轨迹,从而消除了链接成对匹配的需求。
同时恢复所有相机参数:VGGSfM基于图像和轨迹特征同时恢复所有相机参数,而不是逐步注册相机。这种方法提高了重建的效率和准确性。
可微分束调整层:通过可微分的束调整层优化相机参数并三角测量3D点,实现了整个pipeline的端到端优化。

VGGSfM重建示例

VGGSfM的性能表现

在三个广受欢迎的数据集上,VGGSfM都取得了最先进的性能:

CO3D数据集
IMC Phototourism数据集
ETH3D数据集

这些结果充分证明了VGGSfM在各种场景和条件下的鲁棒性和准确性。

VGGSfM的应用场景

VGGSfM在多个领域都有广泛的应用前景:

3D重建:可用于建筑物、文物或城市场景的高精度3D重建。
增强现实(AR):为AR应用提供更准确的环境理解和物体定位。
自动驾驶:帮助自动驾驶车辆更好地理解和导航复杂环境。
机器人视觉:提升机器人在未知环境中的导航和操作能力。
虚拟现实(VR):为VR内容创作提供更真实、更精确的3D场景重建。

VGGSfM的使用方法

VGGSfM已经开源,研究人员和开发者可以通过以下步骤使用:

安装:

source install.sh
python -m pip install -e .

下载模型: 模型检查点会自动从Hugging Face下载。也可以手动从Hugging Face或Google Drive下载。

运行演示:

python demo.py SCENE_DIR=examples/kitchen

可视化: VGGSfM提供了多种可视化选项,包括使用Visdom和Gradio的交互式可视化。

VGGSfM UI界面

VGGSfM的未来发展

尽管VGGSfM已经取得了显著的成果,但研究团队仍在持续改进和扩展其功能:

视频处理:最新版本已支持对视频序列帧进行重建。
稠密深度图:新增了提取稠密深度图的功能,进一步提升了重建的精度和完整性。
动态物体处理:添加了使用masks过滤动态物体的支持,提高了在复杂场景中的重建质量。
更多可视化选项:不断增加新的可视化功能,如2D重投影和轨迹预测可视化,以便更好地理解和分析重建结果。

VGGSfM的开源不仅推动了SfM技术的发展,也为计算机视觉和3D重建领域的研究人员提供了一个强大的工具。随着更多研究者的参与和贡献,我们可以期待VGGSfM在未来会有更广泛的应用和更卓越的性能。

结语

VGGSfM代表了SfM技术的一个重要突破,它巧妙地结合了传统视觉几何学的原理和现代深度学习技术的优势。通过提供一个端到端可训练的pipeline,VGGSfM不仅提高了3D重建的精度和效率,还为未来的研究开辟了新的方向。无论是在学术研究还是工业应用中,VGGSfM都展现出了巨大的潜力,有望在计算机视觉、robotics和3D内容创作等多个领域产生深远的影响。