HumanPlus：人形机器人影随人动和人类模仿

项目网站：https://humanoid-ai.github.io/

本仓库包含人形影随变换器（HST）和人形模仿变换器（HIT）的最新实现，以及全身姿态估计的说明和相关硬件代码库。

人形影随变换器（HST）

基于legged_gym和rsl_rl的仿真强化学习。

安装

首先从官方源安装IsaacGym v4。将isaacgym文件夹放在HST文件夹内。

cd HST/rsl_rl && pip install -e . 
cd HST/legged_gym && pip install -e .

示例用法

训练HST：

python legged_gym/scripts/train.py --run_name 0001_test --headless --sim_device cuda:0 --rl_device cuda:0

运行已训练的策略：

python legged_gym/scripts/play.py --run_name 0001_test --checkpoint -1 --headless --sim_device cuda:0 --rl_device cuda:0

人形模仿变换器（HIT）

基于ACT仓库和Mobile ALOHA仓库的真实世界模仿学习。

安装

conda create -n HIT python=3.8.10
conda activate HIT
pip install torchvision
pip install torch
pip install pyquaternion
pip install pyyaml
pip install rospkg
pip install pexpect
pip install mujoco==2.3.7
pip install dm_control==1.0.14
pip install opencv-python
pip install matplotlib
pip install einops
pip install packaging
pip install h5py
pip install ipython
pip install getkey
pip install wandb
pip install chardet
pip install h5py_cache
cd HIT/detr && pip install -e .

示例用法

收集您自己的数据或从此处下载我们的数据集，并将其放在HIT文件夹中。

设置新终端，运行：

conda activate HIT
cd HIT

训练HIT：

# 折叠衣物任务
python imitate_episodes_h1_train.py --task_name data_fold_clothes --ckpt_dir fold_clothes/ --policy_class HIT --chunk_size 50 --hidden_dim 512 --batch_size 48 --dim_feedforward 512 --lr 1e-5 --seed 0 --num_steps 100000 --eval_every 100000 --validate_every 1000 --save_every 10000 --no_encoder --backbone resnet18 --same_backbones --use_pos_embd_image 1 --use_pos_embd_action 1 --dec_layers 6 --gpu_id 0 --feature_loss_weight 0.005 --use_mask --data_aug --wandb

硬件代码库

硬件代码库基于unitree_ros2。

安装

安装unitree_sdk

安装unitree_ros2

conda create -n lowlevel python=3.8
conda activate lowlevel

安装nvidia-jetpack

安装torch==1.11.0和torchvision==0.12.0： 请参考以下链接： https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048 https://docs.nvidia.com/deeplearning/frameworks/install-pytorch-jetson-platform/index.html

示例用法

将训练好的策略放在hardware-script/ckpt文件夹中，并将其重命名为policy.pt

conda activate lowlevel
cd hardware-script
python hardware_whole_body.py --task_name stand

姿态估计

对于身体姿态估计，请参考WHAM。 对于手部姿态估计，请参考HaMeR。