rex-gym

项目介绍：rex-gym

rex-gym 是一个开放源代码项目，旨在通过强化学习技术让3D打印四足机器人学习完成各种任务，并在真实环境中能够不经过任何手动调试就成功应用这些技巧。

项目背景

这个项目受到波士顿动力公司所做的优秀工作的启发，意在扩大机器人的实用性。通过在模拟环境中进行训练，机器人的控制策略（Control Policies）被学习和优化，最终可以实现从模拟到实际的无缝迁移。

相关资源库

• rexctl：一个命令行工具，用于启动和控制运行着经过训练的控制策略的 Rex 机器人。
• rex-models：一个网络 URDF 可视化工具，包含 Rex 机器人的模型集合。

rex-gym：OpenAI Gym 环境和工具

该存储库中包含了一组 OpenAI Gym 环境，用于训练 Rex 机器人。这些环境包含 Rex 的 URDF 模型、学习代理的实现（使用 PPO 算法）以及一些用于启动训练会话和可视化已学会控制策略的脚本。

安装指南

要开始使用 rex-gym，需要创建一个 Python 3.7 的虚拟环境，并安装 rex-gym 包。可以通过 PyPI 直接安装，也可以从源代码安装。

# 创建环境
conda create -n rex python=3.7 anaconda
conda activate rex

# 安装 rex-gym 包
pip install rex_gym

要从源代码安装，可以克隆代码库并执行：

pip install .

CLI 使用方法

rex-gym 提供了一系列命令行工具，可执行不同的命令来进行模拟训练或运行预训练的代理程序。用户可以通过 rex-gym --help 查看可用命令，并通过 rex-gym COMMAND_NAME --help 查看特定命令的帮助信息。

训练与应用

rex-gym 可以通过指定不同的环境和参数来开始训练或运行已训练的策略：

• 启动预训练的代理程序：

rex-gym policy --env ENV_NAME

• 启动一次训练模拟：

rex-gym train --playground True --env ENV_NAME --log-dir LOG_DIR_PATH

• 启动新的一批训练模拟：

rex-gym train --env ENV_NAME --log-dir LOG_DIR_PATH

机器人平台

该项目使用的机器人为第一版，包括Spotmicro 的部件。当前硬件需求和详细信息可以在 wiki 中找到。

模拟与控制策略

rex-gym 采用的学习方法为近端策略优化（PPO）算法，结合了用户指定策略和从零开始学习的策略，具体实施到 Bezier 控制器和开放环这两种不同的环境中。项目希望通过这些不同的控制方法来优化机器人的学习效果。

任务与场景

该项目涵盖了多种基本任务，如静态姿态控制、行走、转向、站立等，并拓展到复杂地形的导航及开门、抓取物体等高级任务。每个任务都有详细的环境参数和学习目标。

环境参数与配置

用户可以通过指定不同的环境参数和标志来定制训练和测试过程。例如，环境参数包括设置初始方位、目标方位及目标位置等。通过调整这些参数，可以对 PPO 代理进行不同的训练设置。

致谢

该项目参照了诸多前沿的研究论文及开源项目，具体致谢对象包括 Google Brain 等的相关研究，以及 SpotMicroAI 社区的设计贡献者等。

rex-gym 是一个不断发展的项目，欢迎对四足机器人和人工智能感兴趣的研究者和开发者加入其中，共同探索机器人学习的新可能性。