Realtime_Multi-Person_Pose_Estimation学习资料汇总-实时多人姿态估计框架

Realtime_Multi-Person_Pose_Estimation学习资料汇总

Realtime_Multi-Person_Pose_Estimation是由CMU Perceptual Computing Lab开发的一个实时多人姿态估计框架。该项目在2016年MSCOCO关键点挑战赛中获胜,并获得了2016 ECCV最佳演示奖。它是第一个在COCO数据集上达到70+ mAP,在MPII数据集上达到80+ mAP的开源系统。

下面我们来看看这个项目的一些重要信息和学习资源:

1. 项目概述

• GitHub仓库: https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation
• 作者: Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh
• 特点: 自底向上的方法,无需人体检测器,可实时多人姿态估计

2. 学习资料

• 论文: Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
• 视频演示: YouTube
• 口头报告视频: CVPR 2017 Oral
• 幻灯片: ILSVRC and COCO workshop 2016

3. 代码实现

除了原始的Caffe实现,社区还贡献了多个深度学习框架的复现版本:

• OpenPose(C++): https://github.com/CMU-Perceptual-Computing-Lab/openpose
• TensorFlow:
  • https://github.com/ildoonet/tf-openpose
  • https://github.com/michalfaber/keras_Realtime_Multi-Person_Pose_Estimation
• PyTorch:
  • https://github.com/tensorboy/pytorch_Realtime_Multi-Person_Pose_Estimation
  • https://github.com/last-one/Pytorch_Realtime_Multi-Person_Pose_Estimation

4. 使用指南

• C++版本(用于演示):

  • 使用OpenPose,支持CPU/GPU和Windows/Ubuntu
  • 支持图像、视频、摄像头三种输入

• Matlab版本(用于COCO评估):

  • 兼容通用Caffe
  • 运行cd testing; get_model.sh获取最新MSCOCO模型
  • 修改config.m中的caffe路径,运行demo.m

• Python版本:

  • cd testing/python
  • ipython notebook
  • 打开并运行demo.ipynb

5. 训练指南

1. 运行cd training; bash getData.sh获取COCO数据集
2. 运行Matlab脚本转换注释格式
3. 生成JSON文件和LMDB
4. 下载修改版Caffe: caffe_train
5. 运行python setLayers.py --exp 1生成训练配置
6. 下载VGG-19模型初始化
7. 运行bash train_pose.sh 0,1开始训练

6. 网络架构

Realtime_Multi-Person_Pose_Estimation采用了一种自底向上的方法,无需使用人体检测器就可以实现多人姿态估计。它的核心是使用部位亲和场(Part Affinity Fields)来关联身体部位。

7. 效果展示

通过以上资料,相信大家可以快速入门Realtime_Multi-Person_Pose_Estimation项目,并进行更深入的学习和研究。欢迎探索这个强大的实时多人姿态估计框架!