InterFuser

InterFuser 项目介绍

项目背景

InterFuser是一个致力于增强自动驾驶安全性的研究项目。它通过解释性传感器融合变换器，对来自多模态多视角传感器的数据进行全面处理与融合，以实现对环境的综合理解。此外，InterFuser还生成中间解释性特征，这些特征提供了更多的语义信息，能够更好地约束自动驾驶车辆的行动范围，确保其在安全集合内行动。

项目成就

InterFuser于2022年6月11日成功在CARLA AD排行榜上达成新的业界标准，展现了其在自动驾驶领域中显著的性能提升，这一成果也反映在该项目团队的论文中。

项目内容

环境搭建

用户需要安装Anaconda环境，然后克隆项目的代码库并构建运行环境。在安装过程中，需要下载CARLA 0.9.10.1模拟器，并依据指示进行配置。

数据集

项目的数据集是在CARLA 0.9.10.1上生成的，涉及8个虚拟城镇。数据集包含各种传感器采集的图片及3D点云等信息，如RGB摄像头图像，分割图像，深度图像，激光雷达数据，鸟瞰图分割图像以及其他与车辆及交通信号灯相关的测量数据。

数据生成

项目提供了脚本用于在多个CARLA服务端上生成数据，适用于不同的天气和城镇条件。用户可以通过运行CARLA服务端和自动驾驶脚本，收集所需的训练数据。此外，还提供了一些用于数据处理的有用工具，如数据合并、数据统计和预加载等。

模型训练

项目为模型训练提供了详细的脚本，用户需要将数据集路径和必要的数据文件配置好后，即可开始训练。训练过程涵盖了多种城市和天气条件，以帮助生成全方位的模型表现。

模型评估

在模型评估阶段，用户需启动CARLA服务端，并配置适当的参数以运行所需的自动驾驶代理，对于不同的测试条件如城镇和天气，配置文件中提供了对应的路线和场景文件。

项目贡献

InterFuser为了实现其复杂的功能，整合了多个开源项目的代码，包括Transfuser、2020 CARLA挑战、CARLA排行榜和Scenario Runner等。此外，还提供了一些预训练模型权重，用户可以直接用于评估。

致谢

该项目的开发得益于多个开源项目的支持，团队在项目中使用了一些现有的开源代码库，并在此基础上进行优化和扩展。

引用

如有研究人员在自己的项目或学术活动中利用了InterFuser项目，请引用团队的相关论文和项目。

许可证

InterFuser项目中的所有代码均在Apache 2.0许可证下开放，用户可以根据该许可证的条款自由使用和分发项目代码。

通过上述描述，希望能为读者提供一个全面而清晰的InterFuser项目概览，使更多的人能关注并了解这一尖端的自动驾驶研究项目。