multi-hmr

<h1 align="center">Multi-HMR：单次拍摄实现多人全身人体网格恢复</h1> <a href="https://fabienbaradel.github.io/">Fabien Baradel*</a>, <a href="https://europe.naverlabs.com/people_user_naverlabs/matthieu-armando/">Matthieu Armando</a>, <a href="https://europe.naverlabs.com/people_user_naverlabs/Salma-Galaaoui/?asp_highlight=Salma+Galaaoui&p_asid=9">Salma Galaaoui</a>, <a href="https://europe.naverlabs.com/people_user_naverlabs/Romain-Br%C3%A9gier/">Romain Brégier</a>, <a href="[./](https://europe.naverlabs.com/people_user_naverlabs/Philippe-Weinzaepfel/?asp_highlight=Philippe+Weinzaepfel&p_asid=9)">Philippe Weinzaepfel</a>, <a href="https://europe.naverlabs.com/people_user_naverlabs/Gregory-Rogez/">Grégory Rogez</a>, <a href="https://europe.naverlabs.com/people_user_naverlabs/Thomas-Lucas/">Thomas Lucas*</a> ECCV'24 * 贡献相同 <a href="https://arxiv.org/abs/2402.14654"><img alt="arXiv" src="https://yellow-cdn.veclightyear.com/ab5030c0/9d366835-3f26-47aa-bfae-178f1f17e219.svg"></a> <a href="https://europe.naverlabs.com/?p=9361171&preview=true"><img alt="博客文章" src="https://img.shields.io/badge/博客文章-已发布-yellow"></a> <a href="https://multihmr-demo.europe.naverlabs.com/"><img alt="演示" src="https://img.shields.io/badge/演示-可用-blue"></a> <a href="https://paperswithcode.com/sota/human-mesh-recovery-on-bedlam?p=multi-hmr-multi-person-whole-body-human-mesh"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/a336f33e-e355-41dd-a85b-9f8f45a85776.svg?url=https://paperswithcode.com/badge/multi-hmr-multi-person-whole-body-human-mesh/human-mesh-recovery-on-bedlam"></a> <a href="https://paperswithcode.com/sota/3d-human-reconstruction-on-ehf?p=multi-hmr-multi-person-whole-body-human-mesh"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/a336f33e-e355-41dd-a85b-9f8f45a85776.svg?url=https://paperswithcode.com/badge/multi-hmr-multi-person-whole-body-human-mesh/3d-human-reconstruction-on-ehf"></a> <a href="https://paperswithcode.com/sota/3d-human-pose-estimation-on-ubody?p=multi-hmr-multi-person-whole-body-human-mesh"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/a336f33e-e355-41dd-a85b-9f8f45a85776.svg?url=https://paperswithcode.com/badge/multi-hmr-multi-person-whole-body-human-mesh/3d-human-pose-estimation-on-ubody"></a> <a href="https://paperswithcode.com/sota/3d-multi-person-mesh-recovery-on-agora?p=multi-hmr-multi-person-whole-body-human-mesh"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/a336f33e-e355-41dd-a85b-9f8f45a85776.svg?url=https://paperswithcode.com/badge/multi-hmr-multi-person-whole-body-human-mesh/3d-multi-person-mesh-recovery-on-agora"></a> <a href="https://paperswithcode.com/sota/3d-multi-person-human-pose-estimation-on?p=multi-hmr-multi-person-whole-body-human-mesh"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/a336f33e-e355-41dd-a85b-9f8f45a85776.svg?url=https://paperswithcode.com/badge/multi-hmr-multi-person-whole-body-human-mesh/3d-multi-person-human-pose-estimation-on"></a> <a href="https://paperswithcode.com/sota/3d-human-pose-estimation-on-3dpw?p=multi-hmr-multi-person-whole-body-human-mesh"><img src="https://yellow-cdn.veclightyear.com/ab5030c0/a336f33e-e355-41dd-a85b-9f8f45a85776.svg?url=https://paperswithcode.com/badge/multi-hmr-multi-person-whole-body-human-mesh/3d-human-pose-estimation-on-3dpw"></a> <div align="center"> <img width="49%" alt="Multi-HMR 示例 1" src="https://yellow-cdn.veclightyear.com/ab5030c0/37d82ba8-97fa-4035-8e2d-d41f4c56b3b6.gif"> <img width="49%" alt="Multi-HMR 示例 2" src="https://yellow-cdn.veclightyear.com/ab5030c0/a0dcbc02-d325-41c7-bda1-fff1ada62125.gif"> Multi-HMR 是一个简单而有效的单次拍摄模型，用于多人和富有表现力的人体网格恢复。它以单个 RGB 图像作为输入，并在相机空间中高效地执行多个人的 3D 重建。 </div>

新闻

2024/07/03：发布训练-评估代码。
2024/07/01：Multi-HMR 被 ECCV'24 接收。
2024/06/17：Multi-HMR 赢得 Robin Challenge @CVPR'24：3D 人体重建赛道。
2024/02/22：发布演示代码。

安装

首先，你需要克隆仓库。

我们建议使用虚拟环境来运行 MultiHMR。请运行以下命令使用 venv 创建环境：

python3.9 -m venv .multihmr
source .multihmr/bin/activate
pip install -r requirements.txt

或者你也可以创建一个 conda 环境。

conda env create -f conda.yaml
conda activate multihmr

安装已在 python3.9 和 CUDA 12.1 上测试通过。

首次运行演示代码时，检查点将自动下载到 $HOME/models/multiHMR。

除了这些文件外，你还需要下载 SMPLX 模型。你需要中性模型来运行演示代码。请访问相应网站并注册以获取下载区的访问权限。下载模型并将 SMPLX_NEUTRAL.npz 放置在 ./models/smplx/ 中。

在图像上运行 Multi-HMR

以下命令将在指定的 --img_folder 中的所有图像上运行 Multi-HMR，并将重建的渲染结果保存在 --out_folder 中。 --model_name 标志指定要使用的模型。 --extra_views 标志额外渲染重建场景的侧视图和俯视图，--save_mesh 将网格保存为 '.npy' 文件。

python3.9 demo.py \
    --img_folder example_data \
    --out_folder demo_out \
    --extra_views 1 \
    --model_name multiHMR_896_L

预训练模型

我们提供多个预训练检查点。以下是它们相关特性的列表。下载后，你需要将它们放置到 $HOME/models/multiHMR 中。

模型名称	训练数据	骨干网络	分辨率	运行时间 (ms)	PVE-3PDW-test	PVE-EHF	PVE-BEDLAM-val	备注
multiHMR_896_L	BEDLAM+AGORA+CUFFS+UBody	ViT-L	896x896	126	89.9	42.2	56.7	初始检查点
multiHMR_672_L	BEDLAM+AGORA+CUFFS+UBody	ViT-L	672x672	74	94.1	37.0	58.6	更长时间训练
multiHMR_672_B	BEDLAM+AGORA+CUFFS+UBody	ViT-B	672x672	43	94.0	43.6	67.2	更长时间训练
multiHMR_672_S	BEDLAM+AGORA+CUFFS+UBody	ViT-S	672x672	29	102.4	49.3	78.9	更长时间训练

我们在 GPU V100-32GB 上计算运行时间。

训练 Multi-HMR

我们提供了使用单个 GPU 在 BEDLAM-training 上训练 Multi-HMR 并在 BEDLAM-validation、EHF 和 3DPW-test 上评估的代码。

激活环境

source .multihmr/bin/activate
export PYTHONPATH=`pwd`

预处理BEDLAM数据集

首先，您需要下载BEDLAM数据集(6fps版本)并将文件放入data/BEDLAM目录中。目录结构应如下所示:

data/BEDLAM
      |
      |---validation
                  |
                  |---20221018_1_250_batch01hand_zoom_suburb_b_6fps
                                                              |
                                                              |---png
                                                                  |
                                                                  |---seq_000000
                                                                              |
                                                                              |---seq_000000_0000.png
                                                                              ...
                                                                              |---seq_000000_0235.png
                                                                  ...
                                                                  |---seq_000249
                  ...
                  |---20221019_3-8_250_highbmihand_orbit_stadium_6fps
      |---training
              |
              |---20221010_3_1000_batch01hand_6fps
              ...
              |---20221024_3-10_100_batch01handhair_static_highSchoolGym_30fps
      |---all_npz_12_training
              |
              |---20221010_3_1000_batch01hand_6fps.npz
              ...
              |---20221024_3-10_100_batch01handhair_static_highSchoolGym_30fps.npz
      |---all_npz_12_validation
            |
            |---20221018_1_250_batch01hand_zoom_suburb_b_6fps.npz
            ...
            |---20221019_3-8_250_highbmihand_orbit_stadium_6fps.npz

我们需要为训练集和验证集构建注释文件。根据您的CPU性能，构建pkl文件可能需要20分钟左右。

python3.9 datasets/bedlam.py "create_annots(['validation', 'training'])"

您将得到两个文件data/bedlam_validation.pkl和data/bedlam_training.pkl。

检查注释

可视化特定图像的注释。

python3.9 datasets/bedlam.py "visualize(split='validation', i=1500)"

这将创建一个文件bedlam_validation_15000.jpg，您可以在左侧看到RGB图像，右侧看到叠加网格的RGB图像。

(可选) 创建jpg文件以加快数据加载

BEDLAM由PNG文件组成，根据您的基础设施，加载它们可能会有点慢。以下命令将为每个png文件生成一个最大分辨率为1280的jpg文件。由于BEDLAM有超过30万张图像，这可能需要一段时间。您可以在特定子目录上运行命令行来加速jpg文件的生成。您可以选择自己想要的目标大小。

# 可能会很慢
python3.9 datasets/bedlam.py "create_jpeg(root_dir='data/BEDLAM', target_size=1280)

# 或者并行处理
python3.9 datasets/bedlam.py "create_jpeg(root_dir='data/BEDLAM/validation/20221019_3-8_250_highbmihand_orbit_stadium_6fps', target_size=1280)
...
python3.9 datasets/bedlam.py "create_jpeg(root_dir='data/BEDLAM/training/20221010_3-10_500_batch01hand_zoom_suburb_d_6fps', target_size=1280)

检查数据加载时间

您可以通过运行上述命令来检查数据加载器的质量。它将使用BEDLAM的png版本。

python3.9 datasets/bedlam.py "dataloader(split='validation', batch_size=16, num_workers=4, extension='png', img_size=1280, n_iter=100)"

预处理其他验证集

我们还提供了在EHF和3DPW上评估的代码。运行以下命令为EHF构建注释文件。

python3.9 datasets/ehf.py "create_annots()"
python3.9 datasets/ehf.py "visualize(i=10)"

对于3DPW，请下载SMPL-male和SMPL-female模型，将它们放入models/smpl/SMPL_MALE.pkl和models/smpl/SMPL_FEMALE.pkl。另外，smplx2smpl.pkl对于从SMPLX转移到SMPL是必需的。

python3.9 datasets/threedpw.py "create_annots()"
python3.9 datasets/threedpw.py "visualize(i=1011)"

在BEDLAM-train上训练

我们提供了在单个GPU上以336分辨率在BEDLAM-train上训练的命令。

# python命令
CUDA_VISIBLE_DEVICES=1 python3.9 train.py \
--backbone dinov2_vits14 \
--img_size 336 \
-j 4 \
--batch_size 32 \
-iter 10000 \
--max_iter 500000 \
--name multi-hmr_s_336

要减少数据加载时间，请使用--extension jpg --res 1280

评估BEDLAM-val / EHF-test / 3DPW-test

以下命令用于在验证集上评估预训练的检查点。

CUDA_VISIBLE_DEVICES=0 python3.9 train.py \
--eval_only 1 \
--backbone dinov2_vitl14 \
--img_size 896 \
--val_data EHF THREEDPW BEDLAM \
--val_split test test validation \
--val_subsample 1 20 25 \
--pretrained models/multiHMR/multiHMR_896_L.pt

检查日志或打开tensorboard以查看结果。

许可证

代码在CC BY-NC-SA 4.0许可下分发。更多信息请参见Multi-HMR许可证、检查点许可证和示例数据许可证。

引用

如果您发现这段代码对您的研究有用，请考虑引用以下论文：

@inproceedings{multi-hmr2024,
    title={Multi-HMR: Multi-Person Whole-Body Human Mesh Recovery in a Single Shot},
    author={Baradel*, Fabien and 
            Armando, Matthieu and 
            Galaaoui, Salma and 
            Br{\'e}gier, Romain and 
            Weinzaepfel, Philippe and 
            Rogez, Gr{\'e}gory and
            Lucas*, Thomas
            },
    booktitle={ECCV},
    year={2024}
}