Godot强化学习代理

欢迎加入我们的Discord，讨论并获取Godot强化学习代理的帮助。

Godot强化学习代理是一个完全开源的软件包，为游戏创作者、AI研究人员和爱好者提供机会，学习复杂的行为来应用于非玩家角色或代理。这个代码库提供：

在Godot引擎创建的游戏和Python中运行的机器学习算法之间的接口
四个知名强化学习框架的封装：StableBaselines3、Sample Factory、Ray RLLib和CleanRL
支持基于记忆的代理，使用LSTM或注意力机制接口
支持2D和3D游戏
一套AI传感器，用于增强代理观察游戏世界的能力
Godot和Godot强化学习代理完全免费，基于非常宽松的MIT许可证开源。没有任何附加条件，无需支付版税，完全自由。

你可以在我们发表于AAAI-2022研讨会的论文中了解更多关于Godot强化学习代理的信息。

https://user-images.githubusercontent.com/7275864/140730165-dbfddb61-cc90-47c7-86b3-88086d376641.mp4

快速入门指南

本快速入门指南将帮助你使用StableBaselines3后端的Godot强化学习代理库快速上手，因为它支持Windows、Mac和Linux。我们建议从这里开始，然后在学习更复杂的代理行为时尝试我们的高级教程。这里还有一个视频教程，展示了如何安装库并创建自定义环境。

安装和首次训练

安装Godot强化学习代理库。如果你是Python新手或不使用虚拟环境，强烈建议使用venv或Conda创建一个虚拟环境，以隔离项目依赖。

设置好虚拟环境后，继续安装：

pip install godot-rl

下载一个或多个示例，如BallChase、JumperHard、FlyBy。

gdrl.env_from_hub -r edbeeching/godot_rl_JumperHard

你可能需要为游戏可执行文件添加运行权限。

chmod +x examples/godot_rl_JumperHard/bin/JumperHard.x86_64

训练并可视化

gdrl --env=gdrl --env_path=examples/godot_rl_JumperHard/bin/JumperHard.x86_64 --experiment_name=Experiment_01 --viz

编辑器内交互式训练

你也可以在Godot编辑器中训练代理，无需导出游戏可执行文件。

从https://godotengine.org/下载Godot 4游戏引擎
打开引擎并导入examples/godot_rl_JumperHard中的JumperHard示例
使用以下命令开始编辑器内训练：gdrl

创建自定义环境

这里有一个专门的教程，介绍如何创建自定义环境点击这里。我们建议在尝试创建自己的环境之前先学习这个教程。

如果你在入门过程中遇到任何问题，请在我们的Discord上联系我们或提出GitHub issue。

以onnx格式导出和加载训练好的代理：

该库的最新版本为Stable Baselines 3、rllib和CleanRL训练框架提供了实验性的onnx模型支持。

首先使用sb3示例训练你的代理（使用脚本的说明），启用选项--onnx_export_path=GameModel.onnx
然后，使用Godot编辑器的mono版本，将onnx模型路径添加到同步节点。如果你没有看到这个选项，可能需要从源代码下载插件
游戏现在应该可以加载并使用onnx模型运行。如果你在构建项目时遇到问题，请确保项目中.csproj和.sln文件的内容与插件源代码中的相匹配。

高级用法

https://user-images.githubusercontent.com/7275864/209160117-cd95fa6b-67a0-40af-9d89-ea324b301795.mp4

请确保你已成功完成快速入门指南，然后再继续本节内容。

Godot强化学习代理支持4种不同的强化学习训练框架，以下链接详细介绍了如何使用特定后端的更深入指南：

StableBaselines3 (Windows、Mac、Linux)
SampleFactory (Mac、Linux)
CleanRL (Windows、Mac、Linux)
Ray rllib (Windows、Mac、Linux)

贡献

我们欢迎对库的新贡献，例如：

用Godot制作的新环境
对readme文件的改进
对Python代码库的补充

首先fork仓库，然后克隆到你的机器上，创建一个虚拟环境并执行可编辑安装。

# 如果你想提交PR，你应该fork这个库或申请成为贡献者

git clone git@github.com:YOUR_USERNAME/godot_rl_agents.git
cd godot_rl_agents
python -m venv venv
pip install -e ".[dev]"

为了运行测试，你需要先确保安装了git-lfs。安装后，你可以下载测试中使用的示例：

make download_examples

注意，这些示例仅适用于Linux和Windows。下载示例后，你可以运行测试：

# 检查测试是否运行
make test

然后添加你的功能。使用以下命令格式化你的代码：

make style
make quality

然后对原始仓库的main分支提交PR。

常见问题

我们为什么开发Godot RL Agents？

该框架的目标是：

为深度强化学习研究和游戏开发提供一个免费开源的工具。
使游戏创作者能够赋予非玩家角色独特的行为。
通过与强化学习智能体的交互实现自动化游戏测试。

我如何为Godot RL Agents做出贡献？

请尝试使用它，找出bug，然后提出问题或者如果你自己修复了，提交一个拉取请求。

你们什么时候会提供Mac支持？

现在应该已经可以使用了，如果你遇到任何问题请告诉我们。

你们能帮助我的游戏项目吗？

如果这里的README和文档没有提供足够的信息，可以在Discord或GitHub上联系我们，我们可能会提供一些建议。

这个工具与Unity ML agents有多相似？

我们受Unity ML agents工具包的启发，我们的目标是提供一个更加紧凑、简洁和易于修改的代码库，几乎没有抽象。

许可证

Godot RL Agents采用MIT许可证。详情请参阅LICENSE文件。

"卡通飞机" (https://skfb.ly/UOLT) 由antonmoek创作，采用创作共用署名许可证 (http://creativecommons.org/licenses/by/4.0/)。

引用Godot RL Agents

@article{beeching2021godotrlagents,
  author={Beeching, Edward and Dibangoye, Jilles and
    Simonin, Olivier and Wolf, Christian},
title = {Godot Reinforcement Learning Agents},
journal = {{arXiv preprint arXiv:2112.03636.},
year = {2021},
}

致谢

我们感谢Godot引擎的作者为AI智能体开发提供了如此强大和灵活的游戏引擎。我们感谢Sample Factory、Clean RL、Ray和Stable Baselines的开发者创造了易于使用且功能强大的强化学习训练框架。我们感谢Unity ML Agents工具包的创造者，他们的工作激发了我们创造这个项目。