mickey

项目介绍：mickey 项目

项目背景

mickey 项目是一个名为“Matching 2D Images in 3D: Metric Relative Pose from Metric Correspondences”的研究实现，并在 2024 年的 CVPR（国际计算机视觉与模式识别会议）上以口头报告的形式展示。这个项目的核心是通过引入名为 MicKey 的特征检测管道来进行 2D 图像与 3D 空间中的匹配。MicKey 能够在相机空间中回归关键点的位置，并通过描述符匹配的方式来确立度量上的对应关系，从而恢复出度量上的相对姿态。

技术细节

MicKey 是一个端到端训练的系统，它利用可微分姿态优化，仅需图像对及其真实相对姿势作为监督信息。MicKey 的目标是解决增强现实（AR）即时应用中的一些问题，尤其是在 Map-free 基准中。传统的方法需要通过上百张图像和比例校准来构建 3D 地图，而 Map-free 方法只需使用场景的一张照片作为地图进行基准评估。

主要功能

评估 MicKey

在 MicKey 项目中，用户能够利用 Map-free 数据集来进行评估，而无需构建复杂的 3D 地图。有多个已预先训练好的 MicKey 模型可供下载，其中每个模型都针对不同的训练策略进行了优化。

• 数据集下载与准备：用户可以从项目页面下载 Map-free 数据集，并将其解压到指定目录中。
• 模型下载与设置：预训练好的 MicKey 模型可以从网上下载，使用这些模型可以直接开始评估 MicKey 的性能。
• 本地和在线评估：用户可以在本地评估验证集，或者通过提供的脚本提交结果到在线基准网站进行比较。

训练 MicKey

对于需要自定义或进一步优化的应用场景，用户可以使用提供的训练代码来训练 MicKey。项目提供了两种配置，用于不同的训练策略：

• 逐步学习配置：这是一种不使用图像重叠信息的训练策略，仅依靠真实相对姿态进行学习。
• 重叠评分配置：该策略基于图像重叠信息，只选择可解决的图像对进行训练。

项目也提供两种快速训练的配置，以便于用户加速初期训练。

项目贡献与使用

mickey 项目为计算机视觉提供了一种新的方法来进行 2D 图像与 3D 空间之间的映射，同时开辟了更多关于图像姿态匹配的新研究方向。该项目的代码和模型主要针对非商业用途，如研究和教育。有兴趣的研究者或开发者可以通过项目代码中的指引开始使用，同时在引用时请标明原始论文。

荣誉致谢

该项目在构建过程中借鉴了一些开源库和项目，特此致谢相关作者及维护者。特别是与 Map-Free、ACE 和 LoFTR 等相关领域的合作使得该项目得以更好地实现其研究目标。