NanoDet-Plus: 超快速轻量级无锚点目标检测模型

NanoDet-Plus:超快速轻量级无锚点目标检测模型

NanoDet-Plus是一个超快速、高精度的轻量级无锚点目标检测模型,由RangiLyu开发并开源。它在保持高检测精度的同时,具有极小的模型体积和极快的推理速度,可以在移动设备上实现实时目标检测。

主要特点

NanoDet-Plus具有以下突出特点:

超轻量级:模型文件仅980KB(INT8)或1.8MB(FP16)
超快速:在移动ARM CPU上可达97FPS(10.23ms)
高精度:在COCO数据集上可达34.3 mAP@0.5:0.95,同时保持实时性能
训练友好:相比其他模型GPU显存占用更少,GTX1060 6G可支持batch size=80
易于部署:支持ncnn、MNN、OpenVINO等多种后端,提供基于ncnn的Android demo

NanoDet-Plus架构图

技术原理

NanoDet是一种FCOS风格的单阶段无锚点目标检测模型,使用广义焦点损失(Generalized Focal Loss)作为分类和回归损失。

在NanoDet-Plus中,作者提出了一种新的标签分配策略,包含一个简单的分配指导模块(AGM)和一个动态软标签分配器(DSLA),用于解决轻量级模型训练中的最优标签分配问题。此外还引入了一种轻量级特征金字塔Ghost-PAN来增强多层特征融合。这些改进使NanoDet的检测精度在COCO数据集上提高了7个mAP。

性能对比

下表对比了NanoDet-Plus与其他目标检测模型在COCO数据集上的性能:

模型	分辨率	mAP	CPU延迟	ARM延迟	FLOPS	参数量	模型大小
NanoDet-Plus-m	320*320	27.0	5.25ms	11.97ms	0.9G	1.17M	2.3MB(FP16) / 1.2MB(INT8)
NanoDet-Plus-m	416*416	30.4	8.32ms	19.77ms	1.52G	1.17M	2.3MB(FP16) / 1.2MB(INT8)
YOLOv4-Tiny	416*416	21.7	-	32.81ms	6.96G	6.06M	23.0MB
YOLOX-Nano	416*416	25.8	-	23.08ms	1.08G	0.91M	1.8MB(FP16)

可以看到,NanoDet-Plus在保持较高精度的同时,具有更小的模型体积和更快的推理速度。

部署示例

NanoDet提供了多种部署方式的示例:

Android demo

Android demo

Android demo项目位于demo_android_ncnn文件夹中。

NCNN C++示例

基于ncnn的C++示例位于demo_ncnn文件夹中。

MNN示例

使用阿里巴巴MNN框架的推理示例位于demo_mnn文件夹中。

OpenVINO示例

使用Intel OpenVINO的推理示例位于demo_openvino文件夹中。

Web浏览器示例

可以在这里体验基于WebAssembly的在线demo。

PyTorch示例

项目还提供了基于PyTorch的推理示例,可以用于快速验证模型效果。

如何使用

安装依赖

NanoDet需要以下环境:

Linux或MacOS
CUDA >= 10.2
Python >= 3.7
PyTorch >= 1.10.0, <2.0.0

克隆代码并安装

git clone https://github.com/RangiLyu/nanodet.git
cd nanodet
pip install -r requirements.txt

准备数据集

NanoDet支持COCO、Pascal VOC和YOLO格式的数据集。

修改配置文件

在config文件夹中复制并修改示例配置文件,设置数据路径、模型参数等。

开始训练

python tools/train.py CONFIG_FILE_PATH

导出模型并部署

训练完成后,可以将模型导出为ONNX格式,然后转换为各种推理框架支持的格式进行部署。

总结

NanoDet-Plus作为一个超快速、高精度的轻量级目标检测模型,在移动端和嵌入式设备上具有广阔的应用前景。它的开源不仅为研究人员提供了宝贵的学习资源,也为工业界提供了一个实用的目标检测解决方案。未来,随着移动设备算力的不断提升,相信会有更多基于NanoDet的创新应用出现。

如果您的项目中使用了NanoDet,不要忘记引用原作者的工作:

@misc{nanodet,
    title={NanoDet-Plus: Super fast and high accuracy lightweight anchor-free object detection model.},
    author={RangiLyu},
    howpublished = {\url{https://github.com/RangiLyu/nanodet}},
    year={2021}
}

NanoDet的成功离不开开源社区的贡献,在此也要感谢ncnn、mmdetection等优秀的开源项目为NanoDet的开发提供了重要支持。