Gymnasium

Gymnasium是一个开源的Python库，用于开发和比较强化学习算法。它提供了一个标准API，用于学习算法和环境之间的通信，以及一套符合该API的标准环境。这是OpenAI的Gym库的一个分支，由其维护者（OpenAI几年前将维护工作移交给了外部团队）创建，未来的维护工作将在此继续进行。

文档网站位于gymnasium.farama.org，我们还有一个公共Discord服务器（我们也用它来协调开发工作），你可以在这里加入：https://discord.gg/bnJ6kubTg6

环境

Gymnasium包括以下环境系列以及大量第三方环境

经典控制 - 这些是基于现实世界问题和物理学的经典强化学习。
Box2D - 这些环境都涉及基于物理控制的玩具游戏，使用基于box2d的物理引擎和基于PyGame的渲染。
玩具文本 - 这些环境设计得非常简单，具有小型离散状态和动作空间，因此易于学习。因此，它们适用于调试强化学习算法的实现。
MuJoCo - 基于物理引擎的环境，具有多关节控制，比Box2D环境更复杂。
Atari - 一组57个通过Stella和Arcade Learning Environment模拟的Atari 2600环境，具有高度复杂性，供代理学习。
第三方 - 已创建了许多与Gymnasium API兼容的环境。注意软件创建的版本，如有必要，在gymnasium.make中使用apply_env_compatibility。

安装

要安装基本的Gymnasium库，使用pip install gymnasium

这不包括所有环境系列的依赖项（数量庞大，有些在某些系统上可能难以安装）。你可以像这样安装一个系列的依赖项pip install "gymnasium[atari]"，或使用pip install "gymnasium[all]"安装所有依赖项。

我们支持并测试了Linux和macOS上的Python 3.8、3.9、3.10、3.11。我们接受与Windows相关的PR，但不官方支持它。

API

Gymnasium API将环境建模为简单的Python env类。创建环境实例并与之交互非常简单 - 这里是使用"CartPole-v1"环境的示例：

import gymnasium as gym
env = gym.make("CartPole-v1")

observation, info = env.reset(seed=42)
for _ in range(1000):
    action = env.action_space.sample()
    observation, reward, terminated, truncated, info = env.step(action)

    if terminated or truncated:
        observation, info = env.reset()
env.close()

值得注意的相关库

请注意，这是一个不完整的列表，只包括维护者在被问及推荐时最常向新人推荐的库。

CleanRL是基于Gymnasium API的学习库。它旨在为该领域的新人提供服务，并提供非常好的参考实现。
PettingZoo是Gymnasium的多代理版本，实现了许多环境，例如多代理Atari环境。
Farama基金会还有许多其他由与Gymnasium相同的团队维护并使用Gymnasium API的环境。

环境版本控制

出于可重现性的原因，Gymnasium保持严格的版本控制。所有环境都以"-v0"之类的后缀结尾。当对可能影响学习结果的环境进行更改时，数字会增加1，以防止潜在的混淆。这些是从Gym继承的。

开发路线图

我们为Gymnasium的未来开发工作制定了路线图，可在此处查看：https://github.com/Farama-Foundation/Gymnasium/issues/12

支持Gymnasium的开发

如果你有经济能力并希望支持Gymnasium的开发，请加入社区中的其他人向我们捐款。

引用

你可以使用我们相关的论文（https://arxiv.org/abs/2407.17032）来引用Gymnasium：

@article{towers2024gymnasium,
  title={Gymnasium: A Standard Interface for Reinforcement Learning Environments},
  author={Towers, Mark and Kwiatkowski, Ariel and Terry, Jordan and Balis, John U and De Cola, Gianluca and Deleu, Tristan and Goul{\~a}o, Manuel and Kallinteris, Andreas and Krimmel, Markus and KG, Arjun and others},
  journal={arXiv preprint arXiv:2407.17032},
  year={2024}
}