CARLA Garage: 揭示端到端自动驾驶模型的隐藏偏差

CARLA Garage:探索端到端自动驾驶模型的隐藏偏差

自动驾驶技术正在快速发展,但端到端驾驶模型中仍然存在一些隐藏的偏差和局限性。为了揭示和解决这些问题,来自图宾根大学自主视觉小组的研究人员开发了CARLA Garage项目。这个开源项目为自动驾驶研究提供了强大的工具和基准,帮助研究人员更好地理解和改进端到端驾驶模型。

项目概述

CARLA Garage项目源于研究人员Bernhard Jaeger、Kashyap Chitta和Andreas Geiger发表在ICCV 2023上的论文《Hidden Biases of End-to-End Driving Models》。该项目提供了清晰可配置的代码、详细的文档以及性能强大的预训练模型权重,可以作为基于CARLA模拟器进行端到端自动驾驶研究的良好起点。

CARLA Garage的主要目标包括:

1. 揭示端到端驾驶模型中的隐藏偏差
2. 提供可复现的基准和评估方法
3. 开发新的训练和评估技术
4. 促进自动驾驶研究社区的合作与交流

主要功能

CARLA Garage项目提供了一系列强大的功能:

1. 预训练模型: 提供了在不同基准上训练的高性能预训练模型,可直接用于评估或进一步微调。

2. 数据集生成: 包含用于生成大规模自动驾驶数据集的工具和脚本。

3. 模型训练: 提供了灵活的训练框架,支持多GPU训练、继续训练等功能。

4. 评估基准: 实现了多个具有挑战性的评估基准,如longest6和LAV。

5. 可视化工具: 包含用于可视化模型预测和评估结果的工具。

6. CARLA集成: 与CARLA模拟器深度集成,支持复杂场景的模拟。

安装与使用

要开始使用CARLA Garage,您需要按照以下步骤进行安装:

1. 克隆项目仓库:

git clone https://github.com/autonomousvision/carla_garage.git
cd carla_garage

2. 安装CARLA 0.9.10.1

3. 创建并激活conda环境:

conda env create -f environment.yml
conda activate garage

4. 设置必要的环境变量,如CARLA_ROOT、WORK_DIR等。

完成安装后,您可以使用提供的脚本进行数据生成、模型训练和评估等操作。项目文档中详细说明了各个功能的使用方法。

评估基准

CARLA Garage实现了多个具有挑战性的评估基准,其中最重要的是longest6基准。该基准包含108条长路线,能够全面评估模型的性能。评估过程支持并行化,可以显著提高效率。

评估流程如下:

1. 启动CARLA服务器
2. 运行评估脚本leaderboard_evaluator_local.py
3. 使用result_parser.py解析结果

为了更高效地进行评估,项目还提供了用于SLURM集群的并行化评估脚本。

模型训练

CARLA Garage提供了灵活的模型训练框架。主要训练脚本为train.py,支持多种配置选项:

• 实验ID
• 批量大小
• 数据集路径
• 训练设置(如是否使用waypoint head)
• CPU核心数
• 数据重复次数

此外,还支持两阶段训练策略,可以先训练感知骨干网络,再训练控制头。

数据集

项目发布了用于训练最终模型的数据集,大小约350GB。数据集采用CC BY 4.0许可证发布,可以通过提供的脚本下载:

cd /path/to/carla_garage/tools
bash download_data.sh

提交到CARLA排行榜

CARLA Garage提供了将模型提交到官方CARLA排行榜的完整流程:

1. 创建Docker镜像
2. 本地测试Docker容器
3. 使用alpha工具提交到排行榜

这使得研究人员可以方便地将自己的模型与其他最先进的方法进行比较。

其他文档

除了主要功能外,CARLA Garage还提供了一些额外的文档:

• 坐标系统说明
• TransFuser模型家族的历史
• 工程设计理念
• 额外功能说明

这些文档有助于更深入地理解项目的技术细节和设计思路。

总结

CARLA Garage为自动驾驶研究提供了一个强大而全面的开源平台。通过揭示端到端驾驶模型的隐藏偏差,该项目有望推动自动驾驶技术的进一步发展。无论是初学者还是经验丰富的研究人员,都可以从这个项目中受益,更好地理解和改进端到端自动驾驶模型。

随着自动驾驶技术的不断进步,像CARLA Garage这样的开源项目将在推动整个领域发展方面发挥越来越重要的作用。我们期待看到更多研究人员参与到这个项目中来,共同推动自动驾驶技术的创新与进步。

如果您对CARLA Garage项目感兴趣,欢迎访问其GitHub仓库,为项目点亮星标,并考虑在您的研究中引用相关论文。让我们携手努力,共同推动自动驾驶技术的发展,为未来的智能交通系统奠定坚实的基础。