运动变换器（MTR）：自动驾驶中多模态运动预测的强大基线

这个仓库是NeurIPS 2022论文（口头报告）"Motion Transformer with Global Intention Localization and Local Movement Refinement"的官方实现。

作者：Shaoshuai Shi, Li Jiang, Dengxin Dai, Bernt Schiele

新闻

[2023-06] MTR++论文正式发布在arXiv:2306.17770上,支持多智能体运动预测,并在Waymo Open Dataset上取得最先进的性能。

[2023-05] MTR++赢得了2023年Waymo Open Dataset运动预测挑战赛的冠军,请查看排行榜这里。

[2022-06] MTR赢得了2022年Waymo Open Dataset运动预测挑战赛的冠军,请查看官方帖子这里。

摘要

预测交通参与者未来的多模态行为对于机器人汽车做出安全决策至关重要。现有工作探索直接预测未来轨迹,基于潜在特征,或利用密集的目标候选来识别智能体的目的地,前者收敛缓慢因为所有运动模式都源自同一特征,后者效率低下因为其性能高度依赖于目标候选的密度。在本文中,我们提出了Motion TRansformer (MTR)框架,将运动预测建模为全局意图定位和局部运动细化的联合优化。MTR不使用目标候选,而是采用少量可学习的运动查询对来融合空间意图先验。每个运动查询对负责一种特定的运动模式的轨迹预测和细化,这稳定了训练过程并促进了更好的多模态预测。实验表明,MTR在边际和联合运动预测挑战中都取得了最先进的性能,在Waymo Open Motion Dataset的排行榜上排名第一。

亮点

MTR代码库

最先进的性能,代码结构清晰,易于扩展
一个非常简单的上下文编码器,用于建模智能体/地图关系
带有可学习查询的意图点的运动解码器
使用高斯混合模型的多模态运动预测损失
在Waymo Open Motion Dataset上的清晰数据处理和组织
使用官方Waymo Motion评估API的本地评估工具

方法

简单: 纯变换器的上下文编码器和运动解码器
高效: 使用少量可学习的意图查询进行多模态未来预测
准确: 在Waymo Motion Prediction排行榜上排名第一(最后更新:2023年2月)

入门

主要结果

在Waymo Open Motion Dataset验证集上的性能

模型	训练集	minADE	minFDE	遗漏率	mAP
MTR	20%	0.6697	1.3712	0.1668	0.3437
MTR	100%	0.6046	1.2251	0.1366	0.4164
MTR-e2e	100%	0.5160	1.0404	0.1234	0.3245

在Waymo Open Motion Dataset测试集上的性能

模型	训练集	minADE	minFDE	遗漏率	mAP
MTR	100%	0.6050	1.2207	0.1351	0.4129
MTR-A (ens)	100%	0.5640	1.1344	0.1160	0.4492

引用

如果您在研究中发现这项工作有用,请考虑引用:

@article{shi2022motion,
  title={Motion transformer with global intention localization and local movement refinement},
  author={Shi, Shaoshuai and Jiang, Li and Dai, Dengxin and Schiele, Bernt},
  journal={Advances in Neural Information Processing Systems},
  year={2022}
}

@article{shi2023mtr,
  title={MTR++: Multi-Agent Motion Prediction with Symmetric Scene Modeling and Guided Intention Querying},
  author={Shi, Shaoshuai and Jiang, Li and Dai, Dengxin and Schiele, Bernt},
  journal={arXiv preprint arXiv:2306.17770},
  year={2023}
}

@article{shi2022mtra,
  title={MTR-A: 1st Place Solution for 2022 Waymo Open Dataset Challenge--Motion Prediction},
  author={Shi, Shaoshuai and Jiang, Li and Dai, Dengxin and Schiele, Bernt},
  journal={arXiv preprint arXiv:2209.10033},
  year={2022}
}