BEVFormer：基于摄像头的检测的前沿基线

</div>

https://user-images.githubusercontent.com/27915819/161392594-fc0082f7-5c37-4919-830a-2dd423c1d025.mp4

BEVFormer：通过时空变换器从多摄像头图像学习鸟瞰图表示，ECCV 2022

arXiv论文 | 中文论文 | OpenDriveLab

英文幻灯片 | 占用和BEV感知演讲幻灯片

中文博客 | 视频讲座和幻灯片（中文）

BEV感知综述（已被PAMI接收）| GitHub仓库

新闻

[2022/6/16]：我们新增了两个BEVformer配置，比基础版本需要更少的GPU内存。请拉取此仓库以获取最新代码。
[2022/6/13]：我们发布了BEVFormer的初始版本。它在nuScenes上实现了51.7%的NDS基线结果。
[2022/5/23]：🚀🚀基于BEVFormer构建的BEVFormer++，集合了近期最佳实践和我们独特的修改，在Waymo开放数据集3D仅摄像头检测挑战赛中排名第一。我们将在CVPR 2022自动驾驶研讨会上展示BEVFormer++。
[2022/3/10]：🚀BEVFormer在nuScenes检测任务上以56.9% NDS（仅使用摄像头）达到了最新技术水平！ </br>

摘要

在这项工作中，作者提出了一个名为BEVFormer的新框架，它通过时空变换器学习统一的BEV表示，以支持多个自动驾驶感知任务。简而言之，BEVFormer通过预定义的网格形BEV查询与空间和时间空间进行交互，从而利用空间和时间信息。为了聚合空间信息，作者设计了一种空间交叉注意力机制，每个BEV查询从跨摄像头视图的感兴趣区域提取空间特征。对于时间信息，作者提出了一种时间自注意力机制，以递归方式融合历史BEV信息。该方法在nuScenes测试集上实现了新的最先进的56.9%的NDS指标，比之前的最佳技术高出9.0个百分点，并与基于LiDAR的基线性能相当。

方法

入门指南

模型库

骨干网络	方法	学习率调度	NDS	mAP	内存	配置	下载
R50	BEVFormer-tiny_fp16	24轮	35.9	25.7	-	配置	模型/日志
R50	BEVFormer-tiny	24轮	35.4	25.2	6500M	配置	模型/日志
R101-DCN	BEVFormer-small	24轮	47.9	37.0	10500M	配置	模型/日志
R101-DCN	BEVFormer-base	24轮	51.7	41.6	28500M	配置	模型/日志
R50	BEVformerV2-t1-base	24轮	42.6	35.1	23952M	配置	模型/日志
R50	BEVformerV2-t1-base	48轮	43.9	35.9	23952M	配置	模型/日志
R50	BEVformerV2-t1	24轮	45.3	38.1	37579M	配置	模型/日志
R50	BEVformerV2-t1	48轮	46.5	39.5	37579M	配置	模型/日志
R50	BEVformerV2-t2	24轮	51.8	42.0	38954M	配置	模型/日志
R50	BEVformerV2-t2	48轮	52.6	43.1	38954M	配置	模型/日志
R50	BEVformerV2-t8	24轮	55.3	46.0	40392M	配置	模型/日志
BEVFormerV2模型和日志的百度网盘链接[https://pan.baidu.com/s/1ynzlAt1DQbH8NkqmisatTw?pwd=fdcv]在这里。

引用

如果本工作对您的研究有帮助，请考虑引用以下BibTeX条目。

@article{li2022bevformer,
  title={BEVFormer: Learning Bird's-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers},
  author={Li, Zhiqi and Wang, Wenhai and Li, Hongyang and Xie, Enze and Sima, Chonghao and Lu, Tong and Qiao, Yu and Dai, Jifeng}
  journal={arXiv preprint arXiv:2203.17270},
  year={2022}
}
@article{Yang2022BEVFormerVA,
  title={BEVFormer v2: Adapting Modern Image Backbones to Bird's-Eye-View Recognition via Perspective Supervision},
  author={Chenyu Yang and Yuntao Chen and Haofei Tian and Chenxin Tao and Xizhou Zhu and Zhaoxiang Zhang and Gao Huang and Hongyang Li and Y. Qiao and Lewei Lu and Jie Zhou and Jifeng Dai},
  journal={ArXiv},
  year={2022},
}