<a href="https://sites.google.com/view/humanoid-gym/">Humanoid-Gym：用于人形机器人的强化学习框架，支持零样本仿真到真实环境迁移</a>

<a href="https://sites.google.com/view/humanoid-gym/"><strong>项目主页</strong></a> | <a href="https://arxiv.org/abs/2404.05695"><strong>arXiv论文</strong></a> | <a href="https://twitter.com/roboterax/status/1765038672641175662"><strong>Twitter</strong></a>

<a href="https://github.com/zlw21gxy">顾新阳*</a>, <a href="https://wangyenjen.github.io/">王彦仁*</a>, <a href="http://people.iiis.tsinghua.edu.cn/~jychen/">陈建宇</a>

Humanoid-Gym是一个基于Nvidia Isaac Gym的易用强化学习（RL）框架，旨在训练人形机器人的运动技能，强调从仿真到真实环境的零样本迁移。Humanoid-Gym还集成了从Isaac Gym到Mujoco的仿真到仿真框架，允许用户在不同的物理仿真中验证训练的策略，以确保策略的鲁棒性和泛化能力。

该代码库已通过RobotEra的XBot-S（1.2米高的人形机器人）和XBot-L（1.65米高的人形机器人）在真实环境中进行零样本仿真到真实迁移验证。

特性

1. 人形机器人训练

本仓库提供全面的人形机器人训练指导和脚本。Humanoid-Gym具有专门为人形机器人设计的奖励函数，简化了仿真到真实迁移的难度。在本仓库中，我们以RobotEra的XBot-L为主要示例。它也可以通过最小调整用于其他机器人。我们的资源涵盖了设置、配置和执行。我们的目标是通过提供深入的训练和优化，充分准备机器人进行真实世界的运动。

• 全面的训练指南：我们为训练过程的每个阶段提供详细的指导。
• 逐步配置说明：我们的指导清晰简洁，确保高效的设置过程。
• 便于部署的执行脚本：利用我们预先准备的脚本简化训练工作流程。

2. 仿真到仿真支持

我们还分享了我们的仿真到仿真流程，允许您将训练的策略转移到高度准确和精心设计的仿真环境中。一旦您获得机器人，就可以自信地在真实环境中部署RL训练的策略。

我们的仿真器设置，特别是Mujoco，经过精细调整以closely模拟真实场景。这种仔细的校准确保了仿真和真实环境中的表现紧密对齐。这一改进使我们的仿真更加可信，并增强了我们对其在真实场景中适用性的信心。

3. 去噪世界模型学习（即将推出！）

去噪世界模型学习（DWL）提出了一个先进的仿真到真实框架，集成了状态估计和系统识别。这种双重方法确保机器人的学习和适应在真实环境中既实用又有效。

• 增强仿真到真实适应性：优化机器人从仿真到真实环境过渡的技术。
• 改进状态估计能力：用于精确可靠状态分析的高级工具。

灵巧手操作（即将推出！）

安装

1. 使用conda create -n myenv python=3.8创建一个新的Python 3.8虚拟环境。
2. 为获得最佳性能，我们推荐使用NVIDIA驱动版本525 sudo apt install nvidia-driver-525。支持的最低驱动版本是515。如果无法安装525版本，请确保系统至少有515版本以保持基本功能。
3. 安装PyTorch 1.13和Cuda-11.7：
   • conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
4. 安装numpy-1.23：conda install numpy=1.23
5. 安装Isaac Gym：
   • 从https://developer.nvidia.com/isaac-gym下载并安装Isaac Gym Preview 4。
   • cd isaacgym/python && pip install -e .
   • 运行示例：cd examples && python 1080_balls_of_solitude.py
   • 查阅isaacgym/docs/index.html进行故障排除。
6. 安装humanoid-gym：
   • 克隆此仓库。
   • cd humanoid-gym && pip install -e .

使用指南

示例

# 在4096个环境中启动'v1'的PPO策略训练
# 此命令启动基于PPO算法的人形机器人任务训练。
python scripts/train.py --task=humanoid_ppo --run_name v1 --headless --num_envs 4096

# 评估训练好的PPO策略'v1'
# 此命令加载'v1'策略以在其环境中评估性能。
# 同时，它会自动导出一个JIT模型，适用于部署目的。
python scripts/play.py --task=humanoid_ppo --run_name v1

# 实施仿真到仿真模型转换
# 此命令使用导出的'v1'策略进行仿真到仿真转换。
python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_1.pt

# 运行我们训练好的策略
python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_example.pt

1. 默认任务

• humanoid_ppo

  • 目的：基准，PPO策略，多帧低级控制
  • 观察空间：可变$(47 \times H)$维度，其中$H$是帧数
  • $[O_{t-H} ... O_t]$
  • 特权信息：$73$维

• humanoid_dwl（即将推出）

2. PPO策略

• 训练命令：要训练PPO策略，执行：

  python humanoid/scripts/train.py --task=humanoid_ppo --load_run log_file_path --name run_name
  

• 运行训练好的策略：要部署训练好的PPO策略，使用：

  python humanoid/scripts/play.py --task=humanoid_ppo --load_run log_file_path --name run_name
  

• 默认情况下，加载实验文件夹中最后一次运行的最新模型。但可以通过调整训练配置中的load_run和checkpoint来选择其他运行迭代/模型。

3. 仿真到仿真

• 请注意：在开始仿真到仿真过程之前，确保运行play.py以导出JIT策略。
• 基于Mujoco的仿真到仿真部署：使用以下命令利用Mujoco执行仿真到仿真（sim2sim）部署：

  python scripts/sim2sim.py --load_model /path/to/export/model.pt
  

4. 参数

• CPU和GPU使用：要在CPU上运行仿真，设置--sim_device=cpu和--rl_device=cpu。对于GPU操作，相应地指定--sim_device=cuda:{0,1,2...}和--rl_device={0,1,2...}。请注意，CUDA_VISIBLE_DEVICES不适用，必须匹配--sim_device和--rl_device设置。
• 无头操作：包含--headless以进行无渲染操作。
• 渲染控制：训练过程中按'v'切换渲染。
• 策略位置：训练好的策略保存在humanoid/logs/<experiment_name>/<date_time>_<run_name>/model_<iteration>.pt。

5. 命令行参数

对于RL训练，请参考humanoid/utils/helpers.py#L161。 对于仿真到仿真过程，请参考humanoid/scripts/sim2sim.py#L169。

代码结构

1. 每个环境都基于一个env文件（legged_robot.py）和一个configuration文件（legged_robot_config.py）。后者包含两个类：LeggedRobotCfg（包含所有环境参数）和LeggedRobotCfgPPO（表示所有训练参数）。
2. env和config类都使用继承。
3. cfg中指定的非零奖励尺度为总奖励贡献相应名称的函数。
4. 任务必须通过task_registry.register(name, EnvClass, EnvConfig, TrainConfig)注册。注册可能发生在envs/__init__.py中，或在此仓库外部。

添加新环境

基础环境"legged_robot"构建了一个粗糙地形运动任务。相应的配置没有指定机器人资产（URDF/MJCF）和奖励比例。

1. 如需添加新环境，在"envs/"目录下创建一个新文件夹，并命名配置文件为"<your_env>_config.py"。新配置应继承自现有环境配置。
2. 如果提出新机器人：
   • 将相应资产插入"resources/"文件夹。
   • 在"cfg"文件中，设置资产路径，定义身体名称、默认关节位置和PD增益。指定所需的"train_cfg"和环境名称（Python类）。
   • 在"train_cfg"中，设置"experiment_name"和"run_name"。
3. 如有需要，在"<your_env>.py"中创建环境。继承现有环境，重写所需函数和/或添加奖励函数。
4. 在"humanoid/envs/init.py"中注册环境。
5. 根据需求修改或调整"cfg"或"cfg_train"中的其他参数。要移除奖励，将其比例设为零。避免修改其他环境的参数！
6. 如果希望新机器人/环境执行sim2sim，可能需要修改"humanoid/scripts/sim2sim.py"：
   • 检查机器人在MJCF和URDF之间的关节映射。
   • 根据训练的策略更改机器人的初始关节位置。

故障排除

注意以下情况：

# 错误
ImportError: libpython3.8.so.1.0: cannot open shared object file: No such file or directory

# 解决方案
# 设置正确路径
export LD_LIBRARY_PATH="~/miniconda3/envs/your_env/lib:$LD_LIBRARY_PATH" 

# 或
sudo apt install libpython3.8

# 错误
AttributeError: module 'distutils' has no attribute 'version'

# 解决方案
# 安装pytorch 1.12.0
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

# 错误，由conda分发的libstdc++版本与用于构建Isaac Gym的系统版本不同导致
ImportError: /home/roboterax/anaconda3/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.20` not found (required by /home/roboterax/carbgym/python/isaacgym/_bindings/linux64/gym_36.so)

# 解决方案
mkdir ${YOUR_CONDA_ENV}/lib/_unused
mv ${YOUR_CONDA_ENV}/lib/libstdc++* ${YOUR_CONDA_ENV}/lib/_unused

引用

如果使用此代码或其部分，请引用以下内容：

@article{gu2024humanoid,
  title={Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer},
  author={Gu, Xinyang and Wang, Yen-Jen and Chen, Jianyu},
  journal={arXiv preprint arXiv:2404.05695},
  year={2024}
}

致谢

Humanoid-Gym的实现依赖于Robotic Systems Lab创建的legged_gym和rsl_rl项目的资源。我们特别使用了他们研究中的"LeggedRobot"实现来增强我们的代码库。

有任何问题？

如有更多问题，请随时联系support@robotera.com或在此仓库中创建一个问题。