Autonomous-Driving-in-Carla-using-Deep-Reinforcement-Learning

项目介绍：基于深度强化学习的CARLA自动驾驶

引言

随着人工智能（AI）的飞速发展，自动驾驶汽车研究也成为科技领域的重要前沿。自动驾驶不仅能改变我们的出行方式，还能提升道路安全性。本文档主要介绍一个利用深度强化学习（DRL）技术实现自动驾驶的项目。在此项目中，研发团队通过基于DRL的方法来训练一个能够在虚拟环境中自主驾驶的智能体。由于直接在真实世界中进行实验存在风险和道德问题，因此我们使用开源的模拟器CARLA进行实验，以便在高度逼真的城市模拟环境中训练我们的模型。

项目内容

本项目的目标是开发一个端到端的自动驾驶解决方案，让车辆能够自主决策，朝正确方向行驶并尽量避免碰撞。具体组件包括：

1. CARLA环境设置：借助CARLA（0.9.8版本）作为城市模拟器，为项目提供逼真的驾驶环境。
2. 变分自编码器（VAE）：用于将高维观察压缩到低维潜在空间，从而加快智能体的学习速度。
3. 近端策略优化（PPO）：一种在模拟驾驶环境中用于导航学习的深度强化学习算法，具有在连续状态和动作空间中训练的能力。

项目设置

先决条件

• 使用CARLA (0.9.8)并附加额外地图，特别是Town 2和Town 7。
• 操作系统建议使用Windows或Linux。

安装指南

1. 克隆项目代码库，并确保安装Python 3.7以上版本。
2. 创建一个虚拟环境（如命名为 venv），并在其中安装所需依赖项。
3. 下载CARLA服务器和附加地图，启动CARLA服务器，然后运行客户端脚本以进行测试。

方法论

项目的核心方法架构分为三大部分：

1. CARLA模拟环境：提供虚拟驾驶环境。
2. 变分自编码器（VAE）：用于图像的语义分割处理。
3. PPO智能体：负责执行训练和驾驶任务。

如何运行

运行已训练智能体

我们提供了两个预训练的PPO智能体，分别用于Town 2和Town 7。可以通过命令运行来测试这些智能体：

python continuous_driver.py --exp-name ppo --train False

训练新的智能体

可使用以下命令训练一个新的智能体：

python continuous_driver.py --exp-name ppo

变分自编码器（VAE）

VAE的训练过程从采集12,000张160x80的语义分割图像开始，这些图像将用于训练。通过训练，VAE可以有效压缩高维图像数据，帮助DRL网络加速学习。

项目文件概览

项目中涉及的主要文件和功能模块包括：

• continuous_driver.py：用于训练和测试连续智能体的脚本。
• networks/on_policy/：包含PPO智能体的代码及其网络结构。
• autoencoder/：包含变分自编码器的相关代码。

训练进度查看

训练过程中，可以使用Tensorboard查看进度和图表：

tensorboard --logdir runs/

作者与鸣谢

作者：Idrees Razak
专注的指导：感谢Dr. Toka László在项目中的杰出领导和不懈支持。

本项目遵循MIT开源许可证。