Sample Factory

高吞吐量强化学习代码库。第2版发布了！🤗

资源：

文档： https://samplefactory.dev
论文： https://arxiv.org/abs/2006.11751
引用： BibTeX
Discord： https://discord.gg/BCfHWaSMkr
Twitter（获取更新）： @petrenko_ai
演讲（2021年左右）： https://youtu.be/lLG17LKKSZc

Sample Factory是什么？

Sample Factory是一个最快的强化学习库，专注于高效的同步和异步策略梯度（PPO）实现。

Sample Factory经过全面测试，被许多研究人员和从业者使用。我们的实现在广泛的领域中达到了最先进（SOTA）的性能，同时最大限度地减少了所需的训练时间和硬件要求。下面的剪辑展示了使用Sample Factory训练的ViZDoom、IsaacGym、DMLab-30、Megaverse、Mujoco和Atari智能体：

主要特点：

高度优化的算法架构，实现最大学习吞吐量
同步和异步训练模式
串行（单进程）模式便于调试
在基于CPU和GPU加速环境中都能达到最佳性能
单智能体和多智能体训练、自我对弈、支持在一个或多个GPU上同时训练多个策略
基于种群的训练（PBT）
离散、连续、混合动作空间
基于向量、基于图像、字典观察空间
通过解析动作/观察空间规范自动创建模型架构。支持自定义模型架构
库设计为可导入到其他项目中，自定义环境是一等公民
详细的WandB和Tensorboard摘要，自定义指标
HuggingFace 🤗 集成（将训练好的模型和指标上传到Hub）
多个示例环境集成，带有调优参数和训练好的模型

本自述文件仅提供库的简要概述。访问https://samplefactory.dev获取完整文档以了解更多详情。

安装

只需从PyPI安装：

pip install sample-factory

SF已知可在Linux和macOS上运行。目前不支持Windows。请参阅文档获取其他特定环境的安装说明。

快速入门

使用命令行通过现有集成之一训练智能体，例如Mujoco（可能需要运行pip install sample-factory[mujoco]）：

python -m sf_examples.mujoco.train_mujoco --env=mujoco_ant --experiment=Ant --train_dir=./train_dir

当达到所需性能时停止实验（Ctrl+C），然后评估智能体：

python -m sf_examples.mujoco.enjoy_mujoco --env=mujoco_ant --experiment=Ant --train_dir=./train_dir

# 或使用替代评估脚本，无渲染但速度更快！（使用 `sample_env_episodes` >= `num_workers` * `num_envs_per_worker`）。
python -m sf_examples.mujoco.fast_eval_mujoco --env=mujoco_ant --experiment=Ant --train_dir=./train_dir --sample_env_episodes=128 --num_workers=16 --num_envs_per_worker=2

在基于像素的VizDoom环境中执行相同操作（可能需要运行 pip install sample-factory[vizdoom]，另请参阅VizDoom特定说明文档）：

python -m sf_examples.vizdoom.train_vizdoom --env=doom_basic --experiment=DoomBasic --train_dir=./train_dir --num_workers=16 --num_envs_per_worker=10 --train_for_env_steps=1000000
python -m sf_examples.vizdoom.enjoy_vizdoom --env=doom_basic --experiment=DoomBasic --train_dir=./train_dir

使用Tensorboard监控任何正在运行或已完成的实验：

tensorboard --logdir=./train_dir

（或参阅文档了解WandB集成）。

要继续，请复制并修改现有的环境集成之一，以在您自己的自定义环境中训练智能体。我们为所有类型的支持环境提供了示例，请参阅文档了解更多详情。

致谢

没有许多人的杰出贡献，这个项目是不可能实现的。我要感谢：

Vladlen Koltun提供了出色的指导和支持，特别是在项目的早期阶段，帮助我巩固了最终成为这个库的想法。
我的学术导师Gaurav Sukhatme在我博士期间多年支持这个项目，并且总体上是一位出色的导师。
Zhehui Huang为原始ICML提交做出了贡献，他在测试和评估库方面勤奋工作，并在自己的研究中采用了这个库。
Edward Beeching对代码库做出了许多出色的贡献，包括混合动作分布、新版自定义模型构建器、多个环境集成，并通过HuggingFace集成推广了这个库！
Andrew Zhang和Ming Wang在HuggingFace实习期间对代码库和文档做出了大量贡献！
Thomas Wolf和HuggingFace的其他人提供了令人难以置信的（且意想不到的）支持，以及他们为开源社区所做的令人惊叹的工作。
Erik Wijmans提供反馈和见解，以及他对使用PyTorch的PackedSequence进行RNN反向传播、多层RNN和其他功能的出色实现！
Tushar Kumar为原始论文做出贡献，并帮助实现了快速队列。
Costa Huang开发了CleanRL，致力于RL算法的基准测试，并提供了出色的反馈和见解！
Denys Makoviichuk开发了rl_games（一个非常快速的RL库），为这个库的许多功能（如回报标准化、自适应学习率等）提供了灵感和反馈。
Eugene Vinitsky在自己的研究中采用了这个库，并提供了宝贵的反馈。
RESL实验室的所有同事在他们的项目中使用Sample Factory并提供反馈和见解！

非常感谢所有未在此提及的人，感谢您的代码贡献、PR、问题和提问！没有社区，这个项目是不可能实现的！

引用

如果您在工作中使用此存储库或希望引用它，请参考我们的ICML2020论文。

@inproceedings{petrenko2020sf,
  author    = {Aleksei Petrenko and
               Zhehui Huang and
               Tushar Kumar and
               Gaurav S. Sukhatme and
               Vladlen Koltun},
  title     = {Sample Factory: Egocentric 3D Control from Pixels at 100000 {FPS}
               with Asynchronous Reinforcement Learning},
  booktitle = {Proceedings of the 37th International Conference on Machine Learning,
               {ICML} 2020, 13-18 July 2020, Virtual Event},
  series    = {Proceedings of Machine Learning Research},
  volume    = {119},
  pages     = {7652--7662},
  publisher = {{PMLR}},
  year      = {2020},
  url       = {http://proceedings.mlr.press/v119/petrenko20a.html},
  biburl    = {https://dblp.org/rec/conf/icml/PetrenkoHKSK20.bib},
  bibsource = {dblp computer science bibliography, https://dblp.org}
}

如有问题、疑问或咨询，请加入Discord。欢迎提交Github问题和拉取请求！请查看贡献指南。