Phillip AI: 一个基于深度强化学习的超级玛丽兄弟大乱斗AI玩家

Phillip AI简介

Phillip是一个基于深度强化学习的超级玛丽兄弟大乱斗(Super Smash Bros. Melee, SSBM)AI玩家项目。该项目由GitHub用户vladfi1开发,旨在通过深度强化学习方法训练出能够在SSBM这款经典格斗游戏中与人类玩家进行对抖的AI智能体。

Phillip项目开源在GitHub上,截至目前已获得547颗星和79次分叉,显示出社区对这一创新性游戏AI项目的极大兴趣。不过需要注意的是,该项目目前已不再活跃开发,存在一定程度的代码陈旧问题。开发者已将后续工作转移到一个基于模仿学习的新项目slippi-ai中。

尽管如此,Phillip作为一个将深度强化学习应用于复杂格斗游戏AI的开创性工作,其技术方案和实现思路仍然具有重要的参考价值。本文将对Phillip项目进行全面介绍,包括其开发背景、技术原理、使用方法以及最新进展等方面。

技术原理

Phillip采用深度强化学习方法来训练SSBM游戏AI。具体来说,它使用了以下几个关键技术:

1. 深度神经网络:使用TensorFlow框架构建深度神经网络,用于近似Q函数或策略函数。

2. 强化学习算法:采用如Q-learning、Policy Gradient等算法来优化神经网络参数。

3. 经验回放:使用经验回放缓冲区来存储和采样训练数据,提高样本利用效率。

4. 探索策略:在训练过程中使用ε-greedy等探索策略来平衡探索与利用。

5. 分布式训练:支持在多个agents上并行训练,加速学习过程。

6. 自我对弈:通过自我对弈不断提升AI的棋力。

这些技术的结合使得Phillip能够逐步学习SSBM这款复杂格斗游戏的策略,最终达到与人类玩家对抗的水平。

系统要求

要运行Phillip,需要满足以下系统要求:

• 操作系统:支持Ubuntu 14.04及以上版本、macOS或Windows 7/8/10
• Python 3环境
• Dolphin模拟器(Linux下需自行编译,Windows需使用定制版本)
• SSBM游戏ISO镜像(NTSC 1.02版本)

此外,还需要安装Phillip本身。可以通过以下两种方式之一进行安装:

1. 下载并解压项目zip包
2. 克隆GitHub仓库

之后,在Phillip根目录下运行pip install -e .完成安装。

项目还提供了一些预训练好的agents,存放在agents目录下。完整的预训练agents集合可以从这里下载。

使用方法

与AI对战

要与训练好的Phillip AI进行对战,可以使用以下命令:

python3 phillip/run.py --gui --human --start 0 --reload 0 --epsilon 0 --load agents/FalconFalconBF --iso /path/to/SSBM.iso --exe /path/to/dolphin [--windows]

其中需要指定SSBM的ISO文件路径和Dolphin模拟器的可执行文件路径。在Mac上,Dolphin路径通常为/Applications/Dolphin.app/Contents/MacOS/Dolphin。如果dolphin-emu已在系统PATH中,则可以省略--exe参数。

agents目录下存放了一些预训练好的agents。除了FalconFalconBF,agents/delay0/目录下的agents也表现不错。使用--help可以查看所有可用选项。目前表现最接近人类水平的agent是delay18/FalcoBF,可在前面提到的Google Drive链接中下载。

在Windows上使用时,需要注意以下几点:

• --exe参数需指向解压的Binary\x64\Dolphin.exe文件路径
• 所有路径中的正斜杠/应改为反斜杠\
• 可能需要省略命令中的3,如使用python而非python3
• 需要添加--windows参数
• 可能需要在防火墙中开放5555端口

如果使用Windows 10的Linux子系统,除了Dolphin模拟器外,其他步骤可以按Linux方式操作,但需要额外传入--user tmp参数。

训练新的AI

Phillip的训练过程由phillip/train.py控制。对于大规模并行训练,还可以使用runner.py和launcher.py在Slurm集群上进行。Phillip曾在MGHPCC上进行过训练。

不过,在本地也可以进行小规模训练。首先编辑runner.py设置所需的训练参数,然后执行:

python3 runner.py # 会输出一个路径
python3 launcher.py saves/path/ --init --local [--agents number_of_agents] [--log_agents]

要查看训练过程中的统计信息,可以使用TensorBoard:

tensorboard --logdir logs/

训练和agents的输出会重定向到slurm_logs/目录。要结束训练,执行:

kill $(cat saves/path/pids)

要恢复之前的训练,再次运行launcher.py时省略--init参数即可。

需要注意的是,Windows平台目前不支持训练。

最新进展

虽然Phillip项目本身已不再活跃开发,但其开发者vladfi1已将后续工作转移到了一个新的项目slippi-ai中。这个新项目采用了基于模仿学习的方法,利用slippi录像数据来训练AI,有望带来更好的性能表现。

与此同时,社区对Phillip项目仍然保持着浓厚的兴趣。一些贡献者为项目提供了新的功能和改进,如microsoftv制作了一个教学视频,为新用户提供了直观的使用指导。

此外,开发者还在Twitch上直播了AI的练习对战过程,并在YouTube频道上分享了一些录像,让更多人能够直观地了解AI的表现。

对于有兴趣深入了解或参与项目的人,可以加入项目的Discord社区进行交流讨论。

总结与展望

Phillip作为一个将深度强化学习应用于复杂格斗游戏AI的开创性项目,展示了AI在高度动态、多人对抗环境中的学习能力。尽管项目本身已不再活跃开发,但其技术方案和实现思路仍然具有重要的参考价值。

未来,随着深度学习和强化学习技术的不断进步,我们有理由期待在SSBM等复杂游戏AI领域会涌现出更多创新性的工作。Phillip的后继项目slippi-ai采用的基于大规模人类对战数据的模仿学习方法,可能会带来突破性的进展。

同时,这类游戏AI项目不仅仅是一种技术展示,更为我们理解和模拟人类在高度动态、信息不完全环境下的决策过程提供了宝贵的研究平台。未来,这些研究可能会对机器人技术、自动驾驶等现实世界中的复杂决策问题产生深远的影响。

总的来说,尽管Phillip项目已告一段落,但它为游戏AI这一激动人心的研究领域贡献了重要的一笔,也为后续的研究工作铺平了道路。我们期待看到更多创新性的游戏AI项目不断涌现,推动这一领域的技术不断向前发展。