DRLib：一个简洁的深度强化学习库，集成了几乎所有基于off-policy的RL算法，并支持HER和PER.

一个简洁的深度强化学习库,集成了几乎所有基于off-policy的RL算法,并支持HER和PER。该库是基于 https://github.com/openai/spinningup 的代码编写的,可以使用tensorflow或pytorch实现。与spinning up相比,已删除了多进程和实验网格包装器,以便于应用。此外,我们库中的代码更便于在pycharm中调试~

欢迎关注我的最新工作D2SR,一种基于切换的密集转稀疏高效奖励函数设计方法:

核心代码已在本仓库开源:D2SSR

相应的中文版论文也在这个仓库中:D2SR: Transferring Dense Reward Function to Sparse by Network Resetting

欢迎关注我的最新工作RHER,一种简洁高效的HER变体: https://github.com/kaixindelele/RHER

最新的、全面的实验结果:

4种tf,3种torch的HER算法在三个操作任务的测试结果。

画图脚本示例:

python spinup_utils/plot.py HER_DRLib_mpi1/2 --select Push

#如果是Windows建议用绝对路径,否则找不到文件

保存一个训练好的模型:net/replay_buffer/norm!

python train_torch_mpi_norm_save.py

重载测试一个训练好的模型:net/replay_buffer/norm!

python train_torch_mpi_norm_load.py

项目特点:

提供tf1和pytorch两个版本的算法,前者快,后者新,任君选择;
在spinup的基础上,封装了DDPG, TD3, SAC等主流强化算法,相比原来的函数形式的封装,调用更方便,且加了pytorch的GPU调用;
添加了HER和PER功能,非常适合做机器人相关任务的同学们;
实现了最简单的并行自动调参（ExperimentGrid）和多进程（MPI_fork-实现了,没有完全实现）部分,适合新手在pycharm中debug,原版的直接调试经常会报错~

教程链接:【Spinning Up】四、python同时启动多个不同参数脚本

多进程教程:没写~

我终于把tf版本-基于mpi的多进程调好了~

torch版本的没有测试完毕,有报错!

如果大家的CPU核心足够多的情况下,试试mpi多进程,性能会提升比较大的。

目前测试的结果是,tf-DDPG的性能最佳,TD3的结果竟然会比ddpg的差,简直了~

最后,全网最详细的环境配置教程!亲测两个小时内,从零配置完全套环境!
求三连,不行的话,求个star!

1. Installation

Clone the repo and cd into it:

git clone https://github.com/kaixindelele/DRLib.git
cd DRLib

Create anaconda DRLib_env env:

conda create -n DRLib_env python=3.6.9
source activate DRLib_env

Install pip_requirement.txt:
```
pip install -r pip_requirement.txt
```
If installation of mpi4py fails, try the following command(Only this one can be installed successfully!):
```
conda install mpi4py
```
或者直接看下面的链接： ubuntu-windows-install-mpi4py-亲测好使！
```
conda install seaborn==0.8.1 scipy -y
```

Install tensorflow-gpu=1.14.0

conda install tensorflow-gpu==1.14.0 # if you have a CUDA-compatible gpu and proper drivers

Install torch torchvision

# CUDA 9.2
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=9.2 -c pytorch

# CUDA 10.1
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.1 -c pytorch

# CUDA 10.2
conda install pytorch==1.6.0 torchvision==0.7.0 cudatoolkit=10.2 -c pytorch

仅限 CPU

conda 安装 pytorch==1.6.0 torchvision==0.7.0 cpuonly -c pytorch

# 或通过 pip 安装
pip --default-timeout=100 安装 torch -i  http://pypi.douban.com/simple  --trusted-host pypi.douban.com
[pip 在线安装 torch!非离线!](https://blog.csdn.net/hehedadaq/article/details/111480313)

6. 安装 mujoco 和 mujoco-py bash 参考: https://blog.csdn.net/hehedadaq/article/details/109012048

安装 gym[all]

参考 https://blog.csdn.net/hehedadaq/article/details/110423154

2. 训练模型

示例 1. SAC-tf1-HER-PER 配合 FetchPush-v1:

修改 arguments.py 中的参数, 选择环境, RL 算法, 是否使用 PER 和 HER, gpu-id 等.
使用 train_tf.py 或 train_torch.py 运行
```
python train_tf.py
```
将实验结果导出到本地:https://blog.csdn.net/hehedadaq/article/details/114045615
绘制结果:https://blog.csdn.net/hehedadaq/article/details/114044217

超强版强化学习画图脚本！

相比于原始的 plot.py 文件, 增加了如下功能:

可以直接在 pycharm 或 vscode 执行, 也可以用命令行传参;

按 exp_name 排序, 而不是按时间排序;

固定好每个 exp_name 的颜色;

可以调节曲线的线宽, 便于观察;

保存图片到本地, 便于远程 ssh 画图~

自动显示全屏

图片自适应

针对颜色不敏感的人群, 可以在每条 legend 上注明性能值, 和性能序号

对图例 legend 根据性能从高到低排序, 便于分析比较

提供 clip_xaxis 值, 对训练程度进行统一截断, 图看起来更整洁。 seaborn 版本 0.8.1

3. 文件树和介绍:

<p float="middle"> <img src="https://yellow-cdn.veclightyear.com/ab5030c0/63d9c942-7671-4b27-a485-a0774e22ef49.png" /> </p> ```bash . ├── 算法集合 │ ├── pytorch │ │ ├── ddpg_sp │ │ │ ├── core.py-------------直接从spinup复制过来,并修改了一些细节。 │ │ │ ├── ddpg_per_her.py-----继承自offPolicy.baseOffPolicy,可以选择是否使用HER和PER │ │ │ ├── ddpg.py-------------直接从spinup复制过来 │ │ │ ├── __init__.py │ │ ├── __init__.py │ │ ├── offPolicy │ │ │ ├── baseOffPolicy.py----baseOffPolicy,DDPG/TD3/SAC等。 │ │ │ ├── norm.py-------------状态归一化,在训练过程中更新均值/标准差。 │ │ ├── sac_auto │ │ ├── sac_sp │ │ │ ├── core.py-------------可能和之前一样。 │ │ │ ├── __init__.py │ │ │ ├── sac_per_her.py │ │ │ └── sac.py │ │ └── td3_sp │ │ ├── core.py │ │ ├── __init__.py │ │ ├── td3_gpu_class.py----从spinup修改而来的td3_class │ │ └── td3_per_her.py │ └── tf1 │ ├── ddpg_sp │ │ ├── core.py │ │ ├── DDPG_class.py------------直接从spinup复制过来,并将算法从函数包装到类中。 │ │ ├── DDPG_per_class.py--------添加了PER。 │ │ ├── DDPG_per_her_class.py----DDPG带有HER和PER,但不继承自offPolicy。 │ │ ├── DDPG_per_her.py----------添加了HER和PER。 │ │ ├── DDPG_sp.py---------------直接从spinup复制过来,并修改了一些细节。 │ │ ├── __init__.py │ ├── __init__.py │ ├── offPolicy │ │ ├── baseOffPolicy.py │ │ ├── core.py │ │ ├── norm.py │ ├── sac_auto--------------------带有自动调整alpha参数的SAC版本。 │ │ ├── core.py │ │ ├── __init__.py │ │ ├── sac_auto_class.py │ │ ├── sac_auto_per_class.py │ │ └── sac_auto_per_her.py │ ├── sac_sp--------------------alpha=0.2的SAC版本。 │ │ ├── core.py │ │ ├── __init__.py │ │ ├── SAC_class.py │ │ ├── SAC_per_class.py │ │ ├── SAC_per_her.py │ │ ├── SAC_sp.py │ └── td3_sp │ ├── core.py │ ├── __init__.py │ ├── TD3_class.py │ ├── TD3_per_class.py │ ├── TD3_per_her_class.py │ ├── TD3_per_her.py │ ├── TD3_sp.py ├── arguments.py-----------------------超参数脚本 ├── drlib_tree.txt ├── HER_DRLib_exps---------------------Demo实验日志 │ ├── 2021-02-21_HER_TD3_FetchPush-v1 │ │ ├── 2021-02-21_18-26-08-HER_TD3_FetchPush-v1_s123 │ │ │ ├── checkpoint │ │ │ ├── config.json │ │ │ ├── params.data-00000-of-00001 │ │ │ ├── params.index │ │ │ ├── progress.txt │ │ │ └── Script_backup.py ├── memory │ ├── __init__.py │ ├── per_memory.py--------------mofan版本 │ ├── simple_memory.py-----------mofan版本 │ ├── sp_memory.py---------------spinningup tf1版本,简单的均匀缓冲存储类。 │ ├── sp_memory_torch.py---------spinningup torch-gpu版本,简单的均匀缓冲存储类。 │ ├── sp_per_memory.py-----------spinningup tf1版本,PER缓冲存储类。 │ └── sp_per_memory_torch.py ├── pip_requirement.txt------------pip安装依赖,不包括mujoco-py,gym,tf,torch。 ├── spinup_utils-------------------一些来自spinningup的工具,关于绘图结果、日志记录等。 │ ├── delete_no_checkpoint.py----删除实验没有完成的文件夹。 │ ├── __init__.py │ ├── logx.py │ ├── mpi_tf.py │ ├── mpi_tools.py │ ├── plot.py │ ├── print_logger.py------------将终端打印的信息保存到本地日志文件。 │ ├── run_utils.py---------------现在还没用到。需要学习如何进行多进程。 │ ├── serialization_utils.py │ └── user_config.py ├── train_tf1.py--------------tf1的main.py └── train_torch.py------------torch的main.py ```

4. HER 介绍:

HER的成就基于以下代码:

可以收敛,但这个代码太难。https://github.com/openai/baselines
也可以收敛,但只对DDPG-torch-cpu有效。https://github.com/sush1996/DDPG_Fetch
无法收敛,但这个代码更简单。https://github.com/Stable-Baselines-Team/stable-baselines

论文: https://arxiv.org/pdf/1709.10089.pdf

4.1. 我的理解和视频:

瓜豆互换之道: 第一步在春天（状态），种瓜(从源到目标)得豆，通过HER，把目标换成种豆，按照之前的操作，可以学会在春天种豆得豆; 第二步种米得瓜，学会种瓜得瓜; 即只要是智能体中间经历过的状态，都可以当做它的目标,进行学会。即如果智能体能遍历所有的状态空间,那么它就可以学会达到整个状态空间。

论文分析视频:https://www.bilibili.com/video/BV1BA411x7Wm

代码分析文档:https://github.com/kaixindelele/DRLib/blob/main/algos/pytorch/offPolicy/HER_introduction.md

4.2. HER的关键技巧:

state-normalize:FetchPush-v1任务的成功率从0提高到1。
Q-clip:FetchPickAndPlace-v1任务的成功率从0.5提高到0.7。
action_l2:对Push任务影响很小。

4.3.HER-DDPG在FetchPush-v1上的表现: (图表)

5.PER介绍: 参见:off-policy全系列（DDPG-TD3-SAC-SAC-auto）+优先经验回放PER-代码-实验结果分析

6.总结: 这个库我封装了很久,整个代码库简洁、方便、功能比较齐全,在环境配置这块几乎是手把手教程,希望能给大家节省一些时间。从零开始配置,不到两小时,从下载代码库,到配置环境,到在自己的环境中跑通,全流程非常流畅。下一步添加的功能: 1.PPO的封装; 2.DQN的封装; 3.多进程的封装; 4.ExperimentGrid的封装。

7.联系方式: 深度强化学习-DRL:799378128 知乎帐号:未入门的炼丹学徒 CSDN帐号:https://blog.csdn.net/hehedadaq

Star History: (图表)

欢迎引用! @inproceedings{luo2023d2sr, title={D2SR: Transferring dense reward function to sparse by network resetting}, author={Luo, Yongle and Wang, Yuxin and Dong, Kun and Liu, Yu and Sun, Zhiyong and Zhang, Qiang and Song, Bo}, booktitle={2023 IEEE International Conference on Real-time Computing and Robotics (RCAR)}, pages={906--911}, year={2023}, organization={IEEE} }