具有不确定性的边界框回归用于准确目标检测

GitHub - yihui-he/KL-Loss: 具有不确定性的边界框回归用于准确目标检测 (CVPR'19)

CVPR 2019 开放获取库

CVPR 2019 [演示 (YouTube)]

何宜晖、朱晨晨、王建仁、Marios Savvides、张祥雨，卡内基梅隆大学 & 旷视科技

https://www.youtube.com/embed/bcGtNdTzdkc

目录

1. 引用
2. 安装
3. 测试
4. 训练
5. PyTorch 重新实现
6. 常见问题

大规模目标检测数据集（如 MS-COCO）试图尽可能清晰地定义真实边界框。然而，我们观察到在标注边界框时仍然引入了模糊性。在本文中，我们提出了一种新的边界框回归损失函数，用于同时学习边界框变换和定位方差。我们的损失函数极大地提高了各种架构的定位精度，几乎没有额外的计算量。学习到的定位方差允许我们在非极大值抑制（NMS）期间合并相邻的边界框，从而进一步提高定位性能。在 MS-COCO 数据集上，我们将 VGG-16 Faster R-CNN 的平均精度（AP）从 23.6% 提高到 29.1%。更重要的是，对于 ResNet-50-FPN Mask R-CNN，我们的方法将 AP 和 AP90 分别提高了 1.8% 和 6.2%，显著优于之前最先进的边界框优化方法。

引用

如果您在研究中发现本代码有用，请考虑引用：

@InProceedings{klloss,
  author = {He, Yihui and Zhu, Chenchen and Wang, Jianren and Savvides, Marios and Zhang, Xiangyu},
  title = {Bounding Box Regression With Uncertainty for Accurate Object Detection},
  booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2019}
}

安装

请在 [INSTALL.md](https://github.com/ethanhe42/KL-Loss/blob/master/INSTALL.md 中查找 Caffe2 和 Detectron 的安装说明。

安装 cocoapi 时，请使用我的分支以获取 AP80 和 AP90 分数。

测试

不使用 Var Voting 的推理（8 个 GPU）：

python2 tools/test_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml

你将得到：

平均精度 (AP) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数=100 ] = 0.385
平均精度 (AP) @[ IoU=0.50      | 区域=   全部 | 最大检测数=100 ] = 0.578
平均精度 (AP) @[ IoU=0.75      | 区域=   全部 | 最大检测数=100 ] = 0.412
平均精度 (AP) @[ IoU=0.50:0.95 | 区域=  小型 | 最大检测数=100 ] = 0.209
平均精度 (AP) @[ IoU=0.50:0.95 | 区域=  中型 | 最大检测数=100 ] = 0.412
平均精度 (AP) @[ IoU=0.50:0.95 | 区域=  大型 | 最大检测数=100 ] = 0.515
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数=  1 ] = 0.323
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数= 10 ] = 0.499
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数=100 ] = 0.522
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=  小型 | 最大检测数=100 ] = 0.321
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=  中型 | 最大检测数=100 ] = 0.553
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=  大型 | 最大检测数=100 ] = 0.680
平均精度 (AP) @[ IoU=0.60      | 区域=   全部 | 最大检测数=100 ] = 0.533
平均精度 (AP) @[ IoU=0.70      | 区域=   全部 | 最大检测数=100 ] = 0.461
平均精度 (AP) @[ IoU=0.80      | 区域=   全部 | 最大检测数=100 ] = 0.350
平均精度 (AP) @[ IoU=0.85      | 区域=   全部 | 最大检测数=100 ] = 0.269
平均精度 (AP) @[ IoU=0.90      | 区域=   全部 | 最大检测数=100 ] = 0.154
平均精度 (AP) @[ IoU=0.95      | 区域=   全部 | 最大检测数=100 ] = 0.032

使用变量投票进行推理:

python2 tools/test_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml STD_NMS True

你将得到:

平均精度 (AP) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数=100 ] = 0.392
平均精度 (AP) @[ IoU=0.50      | 区域=   全部 | 最大检测数=100 ] = 0.576
平均精度 (AP) @[ IoU=0.75      | 区域=   全部 | 最大检测数=100 ] = 0.425
平均精度 (AP) @[ IoU=0.50:0.95 | 区域=  小型 | 最大检测数=100 ] = 0.212
平均精度 (AP) @[ IoU=0.50:0.95 | 区域=  中型 | 最大检测数=100 ] = 0.417
平均精度 (AP) @[ IoU=0.50:0.95 | 区域=  大型 | 最大检测数=100 ] = 0.526
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数=  1 ] = 0.324
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数= 10 ] = 0.528
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=   全部 | 最大检测数=100 ] = 0.564
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=  小型 | 最大检测数=100 ] = 0.346
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=  中型 | 最大检测数=100 ] = 0.594
平均召回率 (AR) @[ IoU=0.50:0.95 | 区域=  大型 | 最大检测数=100 ] = 0.736
平均精度 (AP) @[ IoU=0.60      | 区域=   全部 | 最大检测数=100 ] = 0.536
平均精度 (AP) @[ IoU=0.70      | 区域=   全部 | 最大检测数=100 ] = 0.472
平均精度 (AP) @[ IoU=0.80      | 区域=   全部 | 最大检测数=100 ] = 0.363
平均精度 (AP) @[ IoU=0.85      | 区域=   全部 | 最大检测数=100 ] = 0.281
平均精度 (AP) @[ IoU=0.90      | 区域=   全部 | 最大检测数=100 ] = 0.165
平均精度 (AP) @[ IoU=0.95      | 区域=   全部 | 最大检测数=100 ] = 0.037

训练

python2 tools/train_net.py -c configs/e2e_faster_rcnn_R-50-FPN_2x.yaml

PyTorch 重新实现

Stronger-yolo-pytorch: yolov3 + KL损失

常见问题

请创建一个新的issue。

Detectron 自述文件