Minigrid: 强化学习研究的轻量级网格世界环境

Minigrid logo

Minigrid 是一个专为强化学习研究设计的离散网格世界环境集合。这个库提供了一系列简单易用且高度可定制的网格世界环境,让研究人员能够快速搭建实验并测试各种强化学习算法。

主要特点

轻量级设计: Minigrid 环境设计简洁,运行高效,非常适合快速迭代和大规模实验。
标准化接口: 所有环境都遵循 Gymnasium 标准 API,便于与现有的强化学习算法和框架集成。
高度可定制: 环境的大小、复杂度等参数都可以灵活调整,方便进行课程学习或难度微调。
丰富的环境种类: 包括原始 Minigrid 环境和 BabyAI 环境两大类,覆盖了各种任务类型。

环境概览

Minigrid 库中的环境可以分为两大类:

原始 Minigrid 环境

这类环境的特点是:

三角形智能体在 2D 网格世界中移动
离散动作空间
环境中包含墙壁、熔岩、动态障碍物等元素
任务目标通过观察中的 mission 字符串描述
任务类型包括拾取物品、用钥匙开门、在迷宫中导航等

BabyAI 环境

这类环境源自 BabyAI 项目,主要用于研究基于语言的强化学习:

基于 Minigrid 环境进行了扩展
生成自然语言指令来指导智能体完成任务
指令可能涉及导航、开锁、移动物体等复杂操作

Door Key Curriculum

安装使用

安装 Minigrid 非常简单,只需要使用 pip:

pip install minigrid

Minigrid 支持 Python 3.7 到 3.11 版本,可在 Linux 和 macOS 系统上运行。

训练智能体

对于想要快速上手的研究者,可以参考 rl-starter-files 仓库。该仓库提供了在 Minigrid 环境上训练强化学习算法的示例代码,包括 A2C、PPO、DQN 等常用算法的实现。

社区与支持

Minigrid 拥有活跃的开发者社区:

文档网站: minigrid.farama.org
Discord 服务器: https://discord.gg/bnJ6kubTg6

如果你的研究工作使用了 Minigrid,欢迎在 GitHub 仓库提交 issue,我们会将其添加到发表论文列表中。

引用

如果你在研究中使用了 Minigrid,请引用以下论文:

@inproceedings{MinigridMiniworld23,
  author       = {Maxime Chevalier{-}Boisvert and Bolun Dai and Mark Towers and Rodrigo Perez{-}Vicente and Lucas Willems and Salem Lahlou and Suman Pal and Pablo Samuel Castro and Jordan Terry},
  title        = {Minigrid {\&} Miniworld: Modular {\&} Customizable Reinforcement Learning Environments for Goal-Oriented Tasks},
  booktitle    = {Advances in Neural Information Processing Systems 36, New Orleans, LA, USA},
  month        = {December},
  year         = {2023},
}

如果使用了 BabyAI 环境,还需要额外引用:

@article{chevalier2018babyai,
  title={Babyai: A platform to study the sample efficiency of grounded language learning},
  author={Chevalier-Boisvert, Maxime and Bahdanau, Dzmitry and Lahlou, Salem and Willems, Lucas and Saharia, Chitwan and Nguyen, Thien Huu and Bengio, Yoshua},
  journal={arXiv preprint arXiv:1810.08272},
  year={2018}
}

总结

Minigrid 为强化学习研究提供了一个轻量级、灵活且功能丰富的实验平台。无论你是初学者还是经验丰富的研究人员,Minigrid 都能满足你在网格世界环境中进行各种强化学习实验的需求。通过其标准化的接口和丰富的环境类型,Minigrid 让研究人员能够更专注于算法设计和性能优化,而不必花费过多精力在环境构建上。

未来,Minigrid 团队计划继续扩展和优化这个平台,为强化学习社区提供更多有价值的工具和资源。如果你对 Minigrid 的发展方向感兴趣,可以查看项目的路线图了解更多细节。