Efficient-AI-Backbones学习资料汇总 - 华为诺亚方舟实验室开发的高效AI骨干网络

Efficient-AI-Backbones项目简介

Efficient-AI-Backbones是华为诺亚方舟实验室开发的一系列高效AI骨干网络,旨在为移动设备等资源受限场景提供轻量级但高性能的深度学习模型。该项目包含了多个创新网络结构,如GhostNet、TNT (Transformer in Transformer)、AugViT、WaveMLP和ViG等。这些网络在保持高精度的同时,大幅降低了计算复杂度和参数量,非常适合部署在移动设备上。

主要模型介绍

1. GhostNet系列

GhostNet是该项目中最具代表性的网络之一,它通过"幽灵"(Ghost)模块大幅减少了卷积操作的计算量。目前已发展出多个版本:

• GhostNet: 原始版本,在ImageNet上以167M FLOPs达到73.9%的Top-1准确率。
• GhostNetV2: 引入了长程注意力机制,进一步提升性能。
• G-GhostNet: 针对异构设备优化的GhostNet变体。

2. TNT (Transformer in Transformer)

TNT是一种创新的视觉Transformer结构,通过在Transformer block中嵌套小型Transformer来建模局部特征。这种设计既保留了Transformer的长程建模能力,又增强了对局部细节的感知。

3. WaveMLP

WaveMLP是一种受量子启发的纯MLP视觉主干网络。它将图像patch视为波,通过简单的MLP结构实现了与CNN和ViT相当的性能,同时具有更高的推理效率。

使用指南

1. 安装依赖:

   python 3
   pytorch == 1.7.1
   torchvision == 0.8.2
   timm == 0.3.2
   

2. 克隆仓库:

   git clone https://github.com/huawei-noah/Efficient-AI-Backbones.git
   

3. 选择需要的模型,如GhostNetV2:

   cd Efficient-AI-Backbones/ghostnetv2_pytorch
   

4. 训练模型:

   python -m torch.distributed.launch --nproc_per_node=8 train.py /path/to/imagenet/ --model ghostnetv2 --width 1.0
   

预训练模型

项目提供了多个预训练模型供下载使用,包括:

• GhostNetV2-1.0
• GhostNetV2-1.3
• GhostNetV2-1.6

相关论文

1. GhostNet: More Features from Cheap Operations (CVPR 2020)
2. GhostNetV2: Enhance Cheap Operation with Long-Range Attention (NeurIPS 2022 Spotlight)
3. Transformer in Transformer (NeurIPS 2021)
4. An Image Patch is a Wave: Quantum Inspired Vision MLP (CVPR 2022)

总结

Efficient-AI-Backbones项目为移动设备AI应用提供了一系列高效的骨干网络。通过创新的网络结构设计,这些模型在保持高精度的同时大幅降低了计算复杂度。无论是学术研究还是工业应用,该项目都提供了宝贵的资源和参考。研究人员和开发者可以根据自己的需求,选择合适的模型进行进一步的探索和应用开发。