iros20-6d-pose-tracking

项目简介：iros20-6d-pose-tracking

iros20-6d-pose-tracking项目是基于学术论文《se(3)-TrackNet: Data-driven 6D Pose Tracking by Calibrating Image Residuals in Synthetic Domains》的实现，该论文已被2020年国际智能机器人与系统会议（IROS）所接收。此项目旨在解决机器人操作中视频序列中的物体6D姿势跟踪问题。

项目背景

在机器人操作中，6D姿势跟踪至关重要，但这一任务面临诸多挑战，例如：

• 机器人操作通常涉及严重的遮挡；
• 6D姿态数据和标注的获取困难，这为机器学习的实施带来挑战；
• 长时间跟踪过程中容易产生增量误差漂移，需频繁重置物体姿势。

项目目标

该项目通过数据驱动的优化方法，实现长时间、可靠的6D姿态跟踪。其核心贡献在于设计了一种新颖的神经网络结构，利用李代数有效地表示3D方向，并在仅使用合成数据进行训练时，仍能在真实图像上表现出色。

项目应用

该项目的应用场景包括：

• 基于模型的强化学习
• 机器人操作
• 增强/虚拟现实
• 人机互动
• 自动6D姿态标注

数据集和实验成果

由于缺乏合适的RGB-D 6D姿态跟踪数据集，项目开发了一个全新数据集，称为YCBInEOAT。该数据集涵盖：

• 实际操作任务
• 三种末端执行器
• 五种YCB对象
• 用于评估的9个视频，包含7449个RGB-D帧
• 每帧的真实姿势标注

基准测试结果表明，该方法在各种情况下都能生成一致且稳健的估计，并在高效性上领先同类方法，实现了高达90.9Hz的跟踪频率。

项目实践

iros20-6d-pose-tracking可用于当目标对象的CAD模型已知的情况。若CAD模型未知，建议使用BundleTrack项目进行6D姿态跟踪。项目发布了多个预训练权重和合成数据以辅助用户实验。

运行和测试

用户可以通过Docker设置来运行项目，并提供了具体操作实例以测试YCB-Video和YCBInEOAT数据。项目还包括便捷的数据生成工具以帮助用户创建自己的训练数据。

结论

iros20-6d-pose-tracking通过其创新性的网络架构和丰富的实验数据，成功地实现了准确、高效的物体6D姿态跟踪，为机器视觉领域提供了新的解决方案。