3DMPPE_ROOTNET_RELEASE

3DMPPE_ROOTNET_RELEASE 项目介绍

项目背景

3DMPPE_ROOTNET_RELEASE 是一个以 PyTorch 为基础的开源项目，旨在通过单个 RGB 图像进行 3D 多人姿态估计。该项目特别关注相机距离感知的自顶向下方法，致力于在人群中准确估计每个人的 3D 姿态。此项目通过提供 RootNet 部分的实现来支持这一研究成果，最初发表于 2019 年的国际计算机视觉大会（ICCV）。

项目功能

该项目提供以下主要功能：

实现代码: 提供 PyTorch 语言的实现代码，便于模型的训练和测试。
数据集兼容性: 支持广泛使用的 2D 和 3D 姿态数据集，如 Human3.6M、MPII、MS COCO 2017、MuCo-3DHP、MuPoTS-3D 以及 3DPW。
姿态可视化: 提供用于可视化人类姿态的代码，帮助用户理解和分析估计结果。

依赖环境

项目在 Ubuntu 16.04 操作系统下，使用 CUDA 9.0 和 cuDNN 7.1，以及两个 NVIDIA 1080Ti GPU 进行测试。开发使用 Python 3.6.5 和 Anaconda 3。项目需要以下软件依赖：

PyTorch
CUDA
cuDNN
Anaconda
COCO API

快速演示

用户可以在 demo 文件夹中尝试运行一个简单的演示：

下载预训练的 RootNet 模型。
准备用于测试的图像 input.jpg 和快照。
运行 python demo.py --gpu 0 --test_epoch 18，在 GPU 0 上进行演示。

演示完成后，用户可以看到生成的 output_root_2d.jpg 和相关的 3D 根关节深度信息。

目录结构

项目的基本目录结构如下：

data: 包含数据加载代码及与图像和标注目录的软链接。
demo: 包含演示代码。
common: 包含 3D 多人姿态估计系统的核心代码。
main: 包含用于训练或测试网络的高级代码。
output: 存储日志、训练模型、可视化输出及测试结果。

数据管理

建议用户将数据下载并整理到 data 目录内。可通过相应的链接获取解析后的数据集，并确保数据格式符合 MS COCO 标准格式。

输出管理

output 文件夹应按如下结构进行管理：

log: 存储训练日志文件。
model_dump: 保存每个 epoch 的模型检查点。
result: 存储测试阶段生成的最终估计文件。
vis: 存储可视化结果。

运行步骤

开始

用户可以在 main/config.py 中配置模型设置，包括要使用的数据集、网络骨架和输入尺寸等。其中一个重要的参数是 bbox_real，它决定了数据集中边界框的单位。

训练

在 main 文件夹中运行：

python train.py --gpu 0-1

在 GPU 0 和 1 上进行网络训练。

测试

将训练好的模型放在 output/model_dump/ 文件夹内。在 main 文件夹中运行：

python test.py --gpu 0-1 --test_epoch 20

在 GPU 0 和 1 上用第 20 轮训练模型进行测试。

结果展示

项目提供了一些预训练模型及相关的测试数据，可以用于验证和评估。对于 Human3.6M 数据集，RootNet 的 MRPE（平均根关节位置误差）为 120.0 毫米；在 MuPoTS-3D 数据集上，AP_25 指标为 31.0%；在 3DPW 数据集上，MRPE 为 0.386 米。

参考文献

RootNet 的研究工作详见以下引文：

@InProceedings{Moon_2019_ICCV_3DMPPE,
  author = {Moon, Gyeongsik and Chang, Juyong and Lee, Kyoung Mu},
  title = {Camera Distance-aware Top-down Approach for 3D Multi-person Pose Estimation from a Single RGB Image},
  booktitle = {The IEEE Conference on International Conference on Computer Vision (ICCV)},
  year = {2019}
}