<div align="center"> <h2> AiOS：一站式富表现力人体姿态和形状估计 </h2> </div> <div align="center"> <span> <a href="https://github.com/ttxskk">孙庆平</a>^{1, 2},&nbsp; </span> <span> <a href="https://github.com/WYJSJTU">王延军</a>¹,&nbsp; </span> <span> <a href="https://ailingzeng.site/">曾爱玲</a>³,&nbsp; </span> <span> <a href="https://scholar.google.com/citations?view_op=list_works&hl=en&user=zlIJwBEAAAAJ">尹婉琦</a>¹,&nbsp; </span> <span> <a href="https://www.linkedin.com/in/chen-wei-weic0006/">魏晨</a>¹,&nbsp; </span> <span> <a href="https://wenjiawang0312.github.io/">王文佳</a>⁵,&nbsp; </span> <br> <span> <a href="https://haiyi-mei.com">梅海逸</a>¹,&nbsp; </span> <span> <a href="https://ttxskk.github.io/AiOS/">梁志成</a>²,&nbsp; <span> <a href="https://liuziwei7.github.io/">刘子纬</a>⁴,&nbsp; </span> </span> <span> <a href="https://yanglei.me/">杨雷</a>^{1, 5},&nbsp; </span> <span> <a href="https://caizhongang.github.io/">蔡忠罡</a>^{✉, 1, 4, 5},&nbsp; </span> </div> <div align="center"> <span>¹商汤科技研究院</span>, <span>²香港城市大学</span>, <br> <span>³国际数字经济研究院（IDEA）</span>, <br> <span>⁴南洋理工大学S-Lab</span>, <span>⁵上海人工智能实验室</span> </div> <div align="center"> <a href="https://ttxskk.github.io/AiOS/"><img src='https://img.shields.io/badge/项目-主页-Green'></a> <a href="https://arxiv.org/abs/2403.17934"><img src='https://img.shields.io/badge/论文-Arxiv-red'></a> <a href="https://huggingface.co/spaces/ttxskk/AiOS"><img src='https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-空间-blue'></a> </div>

---

<img width="1195" alt="方法" src="https://github.com/ttxskk/AiOS/assets/24960075/40177dd2-886e-4f17-addc-ba4729bcc58e"> <div class="columns is-centered has-text-centered"> <div class="column"> <div class="content has-text-justified"> <p> AiOS以渐进方式执行人体定位和SMPL-X估计。 它由以下部分组成：(1)预测粗略人体位置的身体定位阶段； (2)优化身体特征并产生面部和手部位置的身体细化阶段； (3)优化全身特征并回归SMPL-X参数的全身细化阶段。 </p> </div> </div> </div>

准备工作

• 下载所有数据集
  • AGORA
  • BEDLAM
  • MSCOCO
  • UBody
  • ARCTIC
  • EgoBody
  • EHF
• 将所有数据集处理成HumanData格式。我们提供了处理后的npz文件，可以从这里下载。
• 下载SMPL-X
• 下载AiOS检查点

文件结构应如下所示：

AiOS/
├── config/
└── data
    ├── body_models
    |   ├── smplx
    |   |   ├──MANO_SMPLX_vertex_ids.pkl
    |   |   ├──SMPL-X__FLAME_vertex_ids.npy
    |   |   ├──SMPLX_NEUTRAL.pkl
    |   |   ├──SMPLX_to_J14.pkl
    |   |   ├──SMPLX_NEUTRAL.npz
    |   |   ├──SMPLX_MALE.npz
    |   |   └──SMPLX_FEMALE.npz
    |   └── smpl
    |       ├──SMPL_FEMALE.pkl
    |       ├──SMPL_MALE.pkl
    |       └──SMPL_NEUTRAL.pkl
    ├── preprocessed_npz
    │   └── cache
    |       ├──agora_train_3840_w_occ_cache_2010.npz
    |       ├──bedlam_train_cache_080824.npz
    |       ├──...
    |       └──coco_train_cache_080824.npz
    ├── checkpoint
    │   └── aios_checkpoint.pth
    ├── datasets
    │   ├── agora
    |   │    └──3840x2160
    │   │        ├──train
    │   │        └──test
    │   ├── bedlam
    │   │     ├──train_images
    │   │     └──test_images
    │   ├── ARCTIC
    │   │     ├──s01
    │   │     ├──s02
    │   │     ├──...   
    │   │     └──s10
    │   ├── EgoBody
    │   │     ├──egocentric_color
    │   │     └──kinect_color
    │   └── UBody
    |       └──images
    └── checkpoint
        ├── edpose_r50_coco.pth
        └── aios_checkpoint.pth

安装

# 创建一个conda虚拟环境并激活它。
conda create -n aios python=3.8 -y
conda activate aios

# 安装PyTorch和torchvision。
conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=11.3 -c pytorch -c conda-forge

# 安装Pytorch3D
git clone -b v0.6.1 https://github.com/facebookresearch/pytorch3d.git
cd pytorch3d
pip install -v -e .
cd ..

# 安装MMCV，从源代码构建
git clone -b v1.6.1 https://github.com/open-mmlab/mmcv.git
cd mmcv
export MMCV_WITH_OPS=1
export FORCE_MLU=1
pip install -v -e .
cd ..

# 安装其他依赖项
conda install -c conda-forge ffmpeg
pip install -r requirements.txt 

# 构建可变形DETR
cd models/aios/ops
python setup.py build install
cd ../../..

推理

• 将用于推理的mp4视频放在AiOS/demo/下
• 在AiOS/data/checkpoint下准备用于推理的预训练模型
• 推理输出将保存在AiOS/demo/{INPUT_VIDEO}_out中

# CHECKPOINT: 检查点路径
# INPUT_VIDEO: 输入视频路径
# OUTPUT_DIR: 输出路径
# NUM_PERSON: 人数。此参数设置输入（图像或视频）中预期检测到的人数。
#   默认值为1，表示算法将尝试检测至少一个人。如果您知道同时可能出现的最大人数，
#   可以将此变量设置为该数值以优化检测过程（也建议降低阈值）。
# THRESHOLD: 分数阈值。此参数设置人物检测的分数阈值。默认值为0.5。
#   如果检测到的人的置信度分数低于此阈值，该检测将被丢弃。
#   调整此阈值可以帮助过滤掉误报或确保只考虑高置信度的检测结果。
# GPU_NUM: GPU数量。
sh scripts/inference.sh {CHECKPOINT} {INPUT_VIDEO} {OUTPUT_DIR} {NUM_PERSON} {THRESHOLD} {THRESHOLD}

# 对short_video.mp4进行推理，输出目录为demo/short_video_out
sh scripts/inference.sh data/checkpoint/aios_checkpoint.pth short_video.mp4 demo 2 0.1 8

测试

<table> <tr> <th></th> <th colspan="2">NMVE</th> <th colspan="2">NMJE</th> <th colspan="4">MVE</th> <th colspan="4">MPJPE</th> </tr> <tr> <th>数据集</th> <th>FB</th> <th>B</th> <th>FB</th> <th>B</th> <th>FB</th> <th>B</th> <th>F</th> <th>LH/RH</th> <th>FB</th> <th>B</th> <th>F</th> <th>LH/RH</th> </tr> <tr> <td>BEDLAM</td> <td>87.6</td> <td>57.7</td> <td>85.8</td> <td>57.7</td> <td>83.2</td> <td>54.8</td> <td>26.2</td> <td>28.1/30.8</td> <td>81.5</td> <td>54.8</td> <td>26.2</td> <td>25.9/28.0</td> </tr> <tr> <td>AGORA-测试</td> <td>102.9</td> <td>63.4</td> <td>100.7</td> <td>62.5</td> <td>98.8</td> <td>60.9</td> <td>27.7</td> <td>42.5/43.4</td> <td>96.7</td> <td>60.0</td> <td>29.2</td> <td>40.1/41.0</td> </tr> <tr> <td>AGORA-验证</td> <td>105.1</td> <td>60.9</td> <td>102.2</td> <td>61.4</td> <td>100.9</td> <td>60.9</td> <td>30.6</td> <td>43.9/45.6</td> <td>98.1</td> <td>58.9</td> <td>32.7</td> <td>41.5/43.4</td> </tr> </table>

a. 创建test_result目录

mkdir test_result

b. AGORA验证

运行以下命令，它将生成一个'predictions/'结果文件夹，可以使用agora评估工具进行评估

sh scripts/test_agora_val.sh data/checkpoint/aios_checkpoint.pth agora_val

b. AGORA测试排行榜

运行以下命令，它将生成一个'predictions.zip'，可以提交到AGORA排行榜

sh scripts/test_agora.sh data/checkpoint/aios_checkpoint.pth agora_test

c. BEDLAM

运行以下命令，它将生成一个'predictions.zip'，可以提交到BEDLAM排行榜

sh scripts/test_bedlam.sh data/checkpoint/aios_checkpoint.pth bedlam_test

致谢

部分代码基于MMHuman3D、ED-Pose和SMPLer-X。