TransFuser：基于变换器的传感器融合自动驾驶模仿学习

论文 | 补充材料 | 演讲 | 海报 | 幻灯片

<img src="https://yellow-cdn.veclightyear.com/0a4dffa0/0b704f71-6e83-4ad0-9ac1-79e58035d6d8.gif">

本仓库包含PAMI 2023论文TransFuser：基于变换器的传感器融合自动驾驶模仿学习的代码。这项工作是CVPR 2021论文用于端到端自动驾驶的多模态融合变换器的期刊扩展版。CVPR 2021论文的代码可在cvpr2021分支中找到。

如果您觉得我们的代码或论文有用，请引用：

@article{Chitta2023PAMI,
  author = {Chitta, Kashyap and
            Prakash, Aditya and
            Jaeger, Bernhard and
            Yu, Zehao and
            Renz, Katrin and
            Geiger, Andreas},
  title = {TransFuser: Imitation with Transformer-Based Sensor Fusion for Autonomous Driving},
  journal = {Pattern Analysis and Machine Intelligence (PAMI)},
  year = {2023},
}

@inproceedings{Prakash2021CVPR,
  author = {Prakash, Aditya and
            Chitta, Kashyap and
            Geiger, Andreas},
  title = {Multi-Modal Fusion Transformer for End-to-End Autonomous Driving},
  booktitle = {Conference on Computer Vision and Pattern Recognition (CVPR)},
  year = {2021}
}

另外，请查看我们团队最近在CARLA上的其他工作代码：

• Jaeger等，端到端驾驶模型的隐藏偏差（ICCV 2023）
• Renz等，PlanT：通过对象级表示的可解释规划变换器（CoRL 2022）
• Hanselmann等，KING：通过运动学梯度生成安全关键驾驶场景以实现稳健模仿（ECCV 2022）
• Chitta等，NEAT：用于端到端自动驾驶的神经注意力场（ICCV 2021）

目录

1. 设置
2. 数据集和训练
3. 评估

设置

克隆仓库，设置CARLA 0.9.10.1，并构建conda环境：

git clone https://github.com/autonomousvision/transfuser.git
cd transfuser
git checkout 2022
chmod +x setup_carla.sh
./setup_carla.sh
conda env create -f environment.yml
conda activate tfuse
pip install torch-scatter -f https://data.pyg.org/whl/torch-1.11.0+cu102.html
pip install mmcv-full==1.5.3 -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.11.0/index.html

数据集和训练

我们的数据集是通过一个称为自动驾驶员的特权代理（/team_code_autopilot/autopilot.py）在8个CARLA城镇中使用此文件夹中提供的路线和场景文件生成的。有关训练路线和场景的详细文档，请参见tools/dataset文件夹。您可以通过运行以下命令下载数据集（210GB）：

chmod +x download_data.sh
./download_data.sh

数据集的结构如下：

- 场景
    - 城镇
        - 路线
            - rgb: 相机图像
            - depth: 对应的深度图像
            - semantics: 对应的分割图像
            - lidar: .npy格式的3D点云
            - topdown: 俯视分割图
            - label_raw: 车辆的3D边界框
            - measurements: 包含自我代理的位置、速度和其他元数据

数据生成

除了数据集本身，我们还提供了使用我们的自动驾驶代理进行数据生成的脚本。要生成数据，第一步是启动CARLA服务器：

./CarlaUE4.sh --world-port=2000 -opengl

有关运行CARLA服务器的更多信息（例如在没有显示器的机器上），请参见官方文档。一旦服务器运行，使用以下脚本生成训练数据：

./leaderboard/scripts/datagen.sh <carla根目录> <此仓库的工作目录 (*/transfuser/)>

此脚本的主要变量是SCENARIOS和ROUTES。

训练脚本

通过模仿学习进行训练的代码在train.py中提供。 在单台机器上运行训练脚本的最简示例：

cd team_code_transfuser
python train.py --batch_size 10 --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 0

训练脚本在主函数开始处记录了许多更有用的功能。 其中之一是并行训练。 在多GPU节点上训练时，脚本的启动方式需要不同：

cd team_code_transfuser
CUDA_VISIBLE_DEVICES=0,1 OMP_NUM_THREADS=16 OPENBLAS_NUM_THREADS=1 torchrun --nnodes=1 --nproc_per_node=2 --max_restarts=0 --rdzv_id=1234576890 --rdzv_backend=c10d train.py --logdir /path/to/logdir --root_dir /path/to/dataset_root/ --parallel_training 1

用CUDA_VISIBLE_DEVICES列举您想要训练的GPU。 将OMP_NUM_THREADS变量设置为系统上可用的CPU数量。 如果您想避免线程生成其他线程，请设置OPENBLAS_NUM_THREADS=1。 将--nproc_per_node设置为节点上可用的GPU数量。

评估代理文件是为评估使用多个GPU训练的模型而构建的。 如果您想评估使用单个GPU训练的模型，需要删除这一行。

评估

Longest6基准测试

我们对CARLA排行榜代码进行了一些小修改，用于Longest6基准测试，这些修改在这里有记录。有关Longest6的描述及如何评估它，请参见leaderboard/data/longest6文件夹。

预训练代理

所有4种方法的预训练代理文件可以从AWS下载：

mkdir model_ckpt
wget https://s3.eu-central-1.amazonaws.com/avg-projects/transfuser/models_2022.zip -P model_ckpt
unzip model_ckpt/models_2022.zip -d model_ckpt/
rm model_ckpt/models_2022.zip

运行代理

要评估模型，我们首先启动CARLA服务器：

./CarlaUE4.sh --world-port=2000 -opengl

CARLA服务器运行后，使用以下脚本评估代理:

./leaderboard/scripts/local_evaluation.sh <carla根目录> <此仓库的工作目录 (*/transfuser/)>

通过编辑local_evaluation.sh中的参数，我们可以在Longest6路线上对性能进行基准测试。你可以评估特权代理(如[autopilot.py])和基于传感器的模型。要评估基于传感器的模型，请使用submission_agent.py作为TEAM_AGENT，并将TEAM_CONFIG指向你下载模型权重的文件夹。代码会根据模型文件夹中的args.txt文件自动配置使用正确的方法。

你可以在这里查看TransFuser在Longest6路线上预期驾驶行为的定性示例。

解析longest6结果

为了从评估运行的结果中计算额外的统计数据，我们提供了一个解析器脚本tools/result_parser.py。

${WORK_DIR}/tools/result_parser.py --xml ${WORK_DIR}/leaderboard/data/longest6/longest6.xml --results /path/to/folder/with/json_results/ --save_dir /path/to/output --town_maps ${WORK_DIR}/leaderboard/data/town_maps_xodr

它将生成一个results.csv文件，包含运行的平均结果和额外的统计数据。它还会生成城镇地图并标记出发生违规的位置。

提交到CARLA排行榜

要提交到CARLA排行榜，你需要在系统上安装docker。 编辑make_docker.sh开头的路径。 创建文件夹team_code_transfuser/model_ckpt/transfuser。 将你想评估的model.pth文件和args.txt复制到team_code_transfuser/model_ckpt/transfuser。 如果你想评估一个集成模型，只需将多个.pth文件复制到该文件夹中，代码将加载所有文件并集成预测结果。

cd leaderboard
cd scripts
./make_docker.sh

该脚本将创建一个名为transfuser-agent的docker镜像。 按照排行榜上的说明创建账户并安装alpha。

alpha login
alpha benchmark:submit  --split 3 transfuser-agent:latest

该命令将上传docker镜像到云端并进行评估。 安装 AlphaDrive 命令行工具：

curl http://dist.alphadrive.ai/install-ubuntu.sh | sh -

登录 AlphaDrive 并提交 Docker 镜像：

alpha login
alpha benchmark:submit --split <2/3> <docker_image>

MAP 赛道使用 split 2，SENSORS 赛道使用 split 3。