初学者的PPO教程

简介

你好！我叫Eric Yu，我创建这个代码库是为了帮助初学者使用PyTorch从零开始编写近端策略优化(PPO)算法。我的目标是提供一个简洁(没有花哨技巧)且文档/风格和结构极其完善的PPO代码。我特别针对那些阅读了无数PPO实现却完全不知所云的人。

如果你不是从Medium来的，请先阅读我的系列文章。

我写这段代码时假设你对Python和强化学习(RL)有一定经验，包括了解策略梯度(pg)算法和PPO的工作原理(对于PPO，只需熟悉理论层面。毕竟，这段代码应该能帮助你将PPO付诸实践)。如果不熟悉RL、pg或PPO，请按顺序阅读以下三个链接：

如果不熟悉RL，阅读OpenAI强化学习入门(全3部分)
如果不熟悉pg，阅读策略梯度的直观解释
如果不熟悉PPO理论，阅读PPO的Stack Overflow帖子
如果对这三个都不熟悉，请按从上到下的顺序阅读上面的链接。

请注意，这个PPO实现假设观察空间和动作空间都是连续的，但你可以相对容易地将其更改为离散空间。我遵循OpenAI的Spinning Up提供的PPO伪代码：https://spinningup.openai.com/en/latest/algorithms/ppo.html；伪代码行号在ppo.py中指定为"ALG STEP #"。

希望这能有所帮助，因为我当初开始学习强化学习时就希望有这样的资源。

使用方法

首先，我建议创建一个Python虚拟环境：

python -m venv venv
source venv/bin/activate
pip install -r requirements.txt

从头开始训练：

python main.py

测试模型：

python main.py --mode test --actor_model ppo_actor.pth

使用现有的actor/critic模型进行训练：

python main.py --actor_model ppo_actor.pth --critic_model ppo_critic.pth

注意：要更改超参数、环境等，请在main.py中进行；我没有将它们作为命令行参数，因为我不喜欢命令变得太长。

工作原理

main.py是我们的可执行文件。它将使用arguments.py解析参数，然后初始化我们的环境和PPO模型。根据你指定的模式(默认为训练)，它将训练或测试我们的模型。要训练我们的模型，我们只需调用learn函数！这的设计灵感来自于使用stable_baselines训练PPO2的方式。

arguments.py是main将调用以解析命令行参数的文件。

ppo.py包含我们的PPO模型。所有学习魔法都发生在这个文件中。请阅读我的Medium系列文章了解它是如何工作的。我推荐的另一种方法是使用pdb(Python调试器)，从main.py中调用learn开始逐步调试我的代码。

network.py包含一个示例前馈神经网络，我们可以用它来定义PPO中的actor和critic网络。

eval_policy.py包含评估策略的代码。它是一个完全独立于其他代码的模块。

graph_code目录包含自动收集数据和生成图表的代码。在一台性能不错的电脑上需要约10小时来生成我Medium文章中的所有数据。文章中使用的所有数据应该仍在graph_code/graph_data中，以防你感兴趣；如果你愿意，你可以用这些数据重新生成我使用的图表。更多详情，请阅读graph_code中的README。

这里有一个很棒的pdb教程入门：https://www.youtube.com/watch?v=VQjCx3P89yk&ab_channel=TutorialEdge
或者如果你是调试器专家，这里是文档：https://docs.python.org/3/library/pdb.html