具有特征透视变换的多视图检测 [网站] [arXiv]

@inproceedings{hou2020multiview,
  title={Multiview Detection with Feature Perspective Transformation},
  author={Hou, Yunzhong and Zheng, Liang and Gould, Stephen},
  booktitle={ECCV},
  year={2020}
}

请访问链接查看我们的新作品MVDeTr，这是一个基于transformer的多视图检测器，达到了新的最先进水平！

概述

我们发布了MVDet的PyTorch代码，这是一个最先进的多视图行人检测器；以及MultiviewX数据集，一个新颖的合成多视图行人检测数据集。

Wildtrack	MultiviewX

内容

• MultiviewX数据集
  • 下载MultiviewX
  • 构建你自己的版本
• MVDet代码
  • 依赖项
  • 数据准备
  • 训练

MultiviewX数据集

使用PersonX中的行人模型，我们在Unity中构建了一个新颖的合成数据集MultiviewX。

MultiviewX数据集覆盖了16米乘25米的正方形区域。我们将地平面量化为640x1000的网格。MultiviewX数据集中有6个视野重叠的摄像头，每个摄像头输出1080x1920分辨率的图像。我们还以2帧/秒的速度（与Wildtrack相同）为MultiviewX中的400帧生成了注释。平均而言，4.41个摄像头覆盖了同一位置。

下载MultiviewX

请参考此链接进行下载。

构建你自己的版本

请参考此仓库获取详细指南和你可能需要的工具包。

MVDet代码

这个仓库专门用于MVDet的代码。

依赖项

此代码使用以下库

• python 3.7+
• pytorch 1.4+ & tochvision
• numpy
• matplotlib
• pillow
• opencv-python
• kornia
• matlab & matlabengine（评估时需要）（详细指南请参见此链接）

数据准备

默认情况下，所有数据集都在~/Data/中。我们在这个项目中使用MultiviewX和Wildtrack。

你的~/Data/文件夹应该如下所示

Data
├── MultiviewX/
│   └── ...
└── Wildtrack/ 
    └── ...

训练

为了训练分类器，请运行以下命令，

CUDA_VISIBLE_DEVICES=0,1 python main.py -d wildtrack

这应该会自动返回与报告的88.2% MODA相似的评估结果，该结果是在Wildtrack数据集上得到的。

预训练模型

你可以在此链接下载检查点。