DeepRL

DeepRL项目简介

DeepRL项目是一个基于PyTorch的模块化深度强化学习（RL）算法平台，其主要目标是为研究人员和开发者提供便于切换和实验的强化学习算法实现。DeepRL能够在简单的玩具任务和复杂的游戏中进行应用，是研究和开发深度强化学习算法的理想工具。

已实现的算法

DeepRL实现了多个流行的深度强化学习算法，包括：

（双重/对决/优先级）深度Q学习（DQN）
Categorical DQN（C51）
分位数回归DQN（QR-DQN）
（连续/离散）同步优势演员评论者（A2C）
同步N步Q学习（N步DQN）
深度确定性策略梯度（DDPG）
近端策略优化（PPO）
选项-评论者架构（OC）
双延迟DDPG（TD3）

此外，还有多个源自论文的特殊算法实现，如Off-PAC-KL、TruncatedETD、DifferentialGQ等。

项目特点

DeepRL提供了一种异步数据生成和传输的方法。例如，DQN、C51和QR-DQN代理具有异步的演员用于数据生成，以及异步的回放缓冲区来将数据传输到GPU。使用1块RTX 2080 Ti显卡和3个线程的情况下，DQN代理在6小时内能完成Breakout游戏的10M步运行（40M帧，2.5M梯度更新）。

依赖和使用

DeepRL依赖于PyTorch v1.5.1作为基础框架。项目中提供了一个Dockerfile以便用户设置开发环境。此外，examples.py文件中包含了所有实现的算法的示例代码，便于用户快速上手。

用户可以在学术论文中引用该项目，请参考以下bibtex：

@misc{deeprl,
  author = {Zhang, Shangtong},
  title = {Modularized Implementation of Deep RL Algorithms in PyTorch},
  year = {2018},
  publisher = {GitHub},
  journal = {GitHub Repository},
}