[PYTORCH] 使用近端策略优化 (PPO) 训练超级马里奥

引言

以下是我用于训练代理玩超级马里奥的Python源码。通过使用近端策略优化算法 论文中介绍的PPO算法。

关于性能方面，我训练的PPO代理可以完成31/32关卡，这比我一开始预期的要好很多。

供参考，PPO是由OpenAI提出的算法，并用于训练OpenAI Five，这是第一个在电子竞技游戏中击败世界冠军的AI。具体来说，OpenAI Five在2018年8月击败了一支由MMR排名在Dota 2玩家的99.95百分位的主播和前职业选手组成的队伍。

<p align="left"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/15fd7041-6bdf-4597-b8ee-32df5ce9aca0.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/36d202c5-e73b-44a9-bc12-9ecf58fd5118.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/aafeaa49-f401-4874-808c-52c9737c8ff3.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/770fd210-9b56-404a-93b9-8f7442f2e3e3.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/886074b8-5503-46ad-9f45-f313df214d04.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/ea4d7329-513e-4ce6-b0d5-0175c863d7f7.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/322355c5-234e-4646-a635-d5bdfcf2daf3.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/2de26df5-b758-499d-85ce-feaabb7a35a4.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/2f1e3f98-71d3-40f5-b049-6a7c0ceb1577.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/6ec9e519-0a62-4d39-8eb2-321a3da7fb9b.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/e6376cae-5747-4ff5-96c6-7b540f01605e.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/b91fe521-642e-427a-a8f9-3863fc2c3bde.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/f9bfe9e0-c341-472f-b8eb-08b8d03662c4.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/8d44fb9e-245b-4450-a0e0-e026327a65b0.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/3fc29acb-65bc-447b-b1c1-c9c18bc57597.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/1fa0dfe2-07eb-4bce-9b51-78a384b2e5e5.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/fc32f50e-d3e4-4ea3-94c6-55f1a251f85f.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/4f09a5c7-0789-4be9-8460-c61f76b1c3c4.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/b3cb243e-a3bd-4ce7-a413-313b0081ad0e.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/7b013e85-4be7-40f9-9c5c-df429c96787a.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/7e655ffd-d1ac-4cb3-9ff1-add9cef91201.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/06a55b2b-2384-4bdb-9284-28a17e7c4ab6.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/cfaa6e48-e3a8-4aac-9ac3-e57bd217f6f5.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/56042b4b-223c-4b5c-96ce-bce59e164fcd.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/5179c24b-c977-4069-b0b1-1a850ff51314.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/717cd32f-251f-4f80-94d4-4325eb6a0011.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/0e1ed3f7-83cb-47b3-b8f9-0831f469c2d2.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/e45c9ee4-0ebb-46c2-b7dc-e925e38e38ff.gif" width="200"><br/> <img src="https://yellow-cdn.veclightyear.com/2b54e442/c3a3d0fa-8159-47f4-bf4d-a2f16e3a06c0.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/d4250237-ea07-4769-a143-86cf79a815ce.gif" width="200"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/1668b20b-2de9-423d-85b7-8a00a74fbb99.gif" width="200"><br/> <i>样本结果</i> </p>

动机

自从我发布了我的A3C实现 (A3C源码) 用于训练一个代理玩超级马里奥以来已经有段时间了。虽然训练的代理可以相当快且相当好地完成关卡（至少比我玩的时候快且好:汗:），但它仍然没有完全满足我。主要原因是，使用A3C训练的代理只能完成19/32关卡，无论我如何微调和测试。这促使我寻找一种新的方法。

在我决定选择PPO作为下一个完整的实现之前，我部分实现了其他几个算法，包括A2C和Rainbow。前者没有显示出显著的性能提升，而后者更适用于更随机的环境/游戏，如乒乓球或太空侵略者。

如何使用我的代码

使用我的代码，你可以：

• 训练你的模型，通过运行 python train.py。例如：python train.py --world 5 --stage 2 --lr 1e-4
• 测试你训练的模型，通过运行 python test.py。例如：python test.py --world 5 --stage 2

注意: 如果你在任何关卡卡住了，尝试用不同的学习率重新训练。你可以像我一样仅通过改变学习率来征服31/32关卡。通常我设置学习率为1e-3，1e-4 或 1e-5。然而，有些困难的关卡，包括关卡1-3，最后我用7e-5的学习率在失败70次后成功训练。

Docker

为了方便，我提供了Dockerfile，可以用于运行训练以及测试阶段

假设docker镜像名称是ppo。你只想使用第一个gpu。你已经克隆了这个仓库并进入到它。

构建：

sudo docker build --network=host -t ppo .

运行：

docker run --runtime=nvidia -it --rm --volume="$PWD"/../Super-mario-bros-PPO-pytorch:/Super-mario-bros-PPO-pytorch --gpus device=0 ppo

然后在docker容器内部，你可以简单地运行如上所述的train.py或test.py脚本。

注意: 使用docker时渲染有一个错误。因此，当使用docker进行训练或测试时，请在src/process.py脚本中为训练或test.py脚本中测试时注释掉 env.render() 行。然后，你将无法看到弹出的可视化窗口。但这不是一个大问题，因为训练过程仍然会运行，测试过程将以输出的mp4文件用于可视化结束。

为什么仍然缺少第8-4关卡？

在第4-4关、第7-4关和第8-4关中，地图包含了谜题，玩家必须选择正确的路径才能前进。如果你选择了错误的路径，你必须再次走过你访问过的路径。通过对环境进行一些硬核设置，前两个关卡已经解决。但最后一个关卡还没有解决。