acezero

项目介绍：acezero

项目背景

acezero 项目是致力于场景坐标重建的最新研究成果。其主要目标是通过增量学习技术优化图像集合的定位方法，并在2024年欧洲计算机视觉会议（ECCV）上进行了口头报告。这个项目结合了场景坐标回归模型和最新的 RANSAC 实现技术，通过高效的递增式学习过程实现了对图像位置的精确判断。

项目团队

该项目由多名学者联合开发和研究，包括 Eric Brachmann、Jamie Wynn、Shuai Chen、Tommaso Cavallari、Áron Monszpart、Daniyar Turmukhambetov 和 Victor Adrian Prisacariu。他们利用各自在计算机视觉领域的经验，共同推动了 acezero 项目的发展。

使用说明

安装

该项目在 Ubuntu 20.04 上进行测试，并使用 PyTorch 作为机器学习框架。用户只需配置项目提供的 conda 环境，即可快速开始项目实验。配置步骤包括创建并激活指定的 conda 环境，继而安装必要的 C++/Python 绑定。

基本用法

acezero 允许用户通过定义图片路径的方式重建图像。用户可以选择运行脚本进行图像坐标位置的训练与注册，输出的结果将是图像的姿态估计文件，包括相机旋转和平移信息。

高级用法

项目支持多种高级使用场景，例如：

• 对现有姿态进行精细化处理
• 基于部分重建进行初始化
• 使用自监督方式进行重新定位
• 可进行 NeRF 模型或高斯喷洒模型的训练

数据可视化

acezero 提供了可视化选项，允许用户将重建过程呈现为视频，或将最终重建结果导出为3D模型。通过开启可视化选项，用户可以在结果文件夹中查看重建过程的视频文件。

实验与基准测试

项目通过在多个数据集上的实验来验证其效果，包括 7-Scenes、Mip-NeRF 360 和 Tanks and Temples。每个数据集都有对应的脚本进行实验，以实现不同的场景重建和基准测试。用户可以根据需要选择训练不同类型的模型（如 Gaussian splats 或 NeRF 模型），并查看相应的测试结果。

常见问题

对于用户可能遇到的 GPU 内存不足、图像集合内在参数差异等问题，项目提供了解决方案，包括使用 CPU 缓存和调整参数来适应不同的场景。此外，项目明确说明了 acezero 不支持复杂的相机模型和严重的图像失真处理，建议在使用前对图像进行预处理。

引用

如果在您的工作中使用了 acezero 或部分代码，请遵循项目中提供的参考文献格式进行引用。这不仅包括 acezero 项目的核心论文，还包括其构建所依赖的相关技术论文，如 ACE 重定位器和 DSAC* 位姿估计器等。

许可证

本项目由 Niantic, Inc. 2024 年版权所有，用户在使用该项目代码时需遵循其许可证文件中规定的条款。项目涉及的专利正在申请中，使用前请注意相关使用条款。

这个项目提供了一套完整的解决方案，用于高效处理大规模图像集合的姿态估计和场景重建，适合有相关需求的研究机构和开发者使用。通过对场景的增量学习，实现了在复杂场景下的高质量重建，具有重要的应用价值和研究意义。