DAMO-YOLO: 快速准确的目标检测新方法

DAMO-YOLO简介

DAMO-YOLO是由阿里巴巴达摩院智能计算实验室TinyML团队开发的一种快速而准确的目标检测方法。它在YOLO系列的基础上引入了多项创新技术,包括神经架构搜索(NAS)骨干网络、高效的RepGFPN、ZeroHead、AlignedOTA标签分配以及蒸馏增强等,从而在保持高速度的同时实现了优于现有YOLO系列方法的检测精度。

核心技术

DAMO-YOLO的主要创新点包括:

NAS骨干网络: 使用MAE-NAS方法在低延迟和高性能的约束下搜索检测骨干网络,生成具有空间金字塔池化和focus模块的ResNet/CSP类结构。
高效RepGFPN: 引入Generalized-FPN并使用加速的queen-fusion构建检测器颈部,同时使用ELAN和重参数化升级其CSPNet。
轻量级检测头: 研究发现重颈部搭配单任务投影层的轻量级检测头可以获得更好的性能。
AlignedOTA标签分配: 提出AlignedOTA解决标签分配中的错位问题。
蒸馏增强: 引入蒸馏方案进一步提升性能。

通过这些创新技术的结合,DAMO-YOLO在速度和精度上都取得了显著提升。

性能表现

DAMO-YOLO提供了多个不同规模的模型以满足不同场景需求:

通用模型

模型	尺寸	mAP	延迟(ms)	FLOPs(G)	参数量(M)
DAMO-YOLO-T*	640	43.6	2.78	18.1	8.5
DAMO-YOLO-S*	640	47.7	3.83	37.8	16.3
DAMO-YOLO-M*	640	50.2	5.62	61.8	28.2
DAMO-YOLO-L*	640	51.9	7.95	97.3	42.1

轻量级模型

模型	尺寸	mAP	延迟(ms)	FLOPs(G)	参数量(M)
DAMO-YOLO-Ns	416	32.3	4.08	1.56	1.41
DAMO-YOLO-Nm	416	38.2	5.05	3.69	2.71
DAMO-YOLO-Nl	416	40.5	6.69	6.04	5.69

从表中可以看出,DAMO-YOLO系列模型在各个尺度上都实现了优秀的精度和速度平衡。例如DAMO-YOLO-S*在3.83ms的延迟下就达到了47.7的mAP,显著优于同等规模的YOLO模型。

应用场景

DAMO-YOLO不仅提供了通用目标检测模型,还针对多个实际应用场景提供了专门的检测模型:

这些专用模型经过针对性优化,可以在特定场景中发挥更好的性能。

快速上手

要开始使用DAMO-YOLO,您可以按照以下步骤操作:

安装DAMO-YOLO:

git clone https://github.com/tinyvision/damo-yolo.git
cd DAMO-YOLO/
conda create -n DAMO-YOLO python=3.7 -y
conda activate DAMO-YOLO
pip install -r requirements.txt
export PYTHONPATH=$PWD:$PYTHONPATH

下载预训练模型,如damoyolo_tinynasL25_S.pth
使用以下命令进行推理:

python tools/demo.py image -f ./configs/damoyolo_tinynasL25_S.py --engine ./damoyolo_tinynasL25_S.pth --conf 0.6 --infer_size 640 640 --device cuda --path ./assets/dog.jpg

更多详细使用说明,请参考DAMO-YOLO GitHub仓库。