VanillaNet：深度学习中极简主义的力量

VanillaNet的官方PyTorch实现，来自以下论文： VanillaNet：深度学习中极简主义的力量 Hanting Chen、王云鹤、郭建远和陶大程

VanillaNet是一种创新的神经网络架构，专注于简洁性和高效性。它摒弃了复杂的特征，如快捷连接和注意力机制，使用较少的层数，同时仍保持出色的性能。该项目展示了使用精简架构也能取得有效结果，从而为计算机视觉领域开辟了新路径，挑战了基础模型的现状。

新闻

2023年6月2日 除了论文中报告的速度外，我们还在A100上使用NVIDIA TensorRT测量了速度，以及在华为昇腾910上的速度。VanillaNet的推理速度优于其他对手。🍺

深度和速度比较

VanillaNet在性能上可与流行的计算机视觉基础模型相媲美，但具有更浅的深度和更快的推理速度：

11层的VanillaNet以3.59毫秒的速度达到约**81%的Top-1准确率，比ResNet-50（7.64毫秒）的速度提高了100%**以上。
13层的VanillaNet（1.5倍*）以9.72毫秒的速度达到约**83%的Top-1准确率，比Swin-S（20.25毫秒）的速度提高了100%**以上。
在A100上使用tensorRT FP32，11层的VanillaNet以0.69毫秒的速度达到约**81%的Top-1准确率，比Swin-T（1.41毫秒）和ResNet-101（1.58毫秒）的速度提高了100%**以上。 | 名称 | 参数量(M) | FLOPs(B) | 准确率(%) | 延迟(ms) Pytorch A100 | 延迟(ms) MindSpore Ascend 910 | 延迟(ms) TRT FP32 A100 | 延迟(ms) TRT FP16 A100 | 延迟(ms) TRT FP32 V100 | |:---:|:---:|:---:|:---:| :---:|:---:|:---:|:---:|:---:| | Swin-T | 28.3 | 4.5 | 81.18 | 10.51 | 2.24 | 1.41 | 0.98 |4.71 | | ConvNextV2-N | 15.6 | 2.45 | 81.2 | 6.85 | 3.43 | - | - | 2.81 | | ResNet-18 | 11.7 | 1.8 | 70.6 | 3.12 | 0.60 | 0.41 | 0.28 | 1.63 | | ResNet-34 |21.8|3.7|75.5|5.57|0.97|0.77|0.49| 2.18 | | ResNet-50 |25.6|4.1|79.8|7.64|1.23|0.80|0.54| 3.03 | | ResNet-101 |45.0|8.0|81.3|15.35|2.34|1.58|1.04| 4.46 | | ResNet-152 |60.2|11.5|81.8|22.19|3.40|2.30|1.49| 6.89 | | VanillaNet-5 | 15.5 | 5.2 | 72.49 | 1.61 |0.39|0.33|0.27| 1.60 | | VanillaNet-6 | 32.5 | 6.0 | 76.36 | 2.01 |0.53|0.40|0.33|1.84| | VanillaNet-7 | 32.8 | 6.9 | 77.98 | 2.27 |0.76|0.47|0.39|2.02| | VanillaNet-8 | 37.1 | 7.7 | 79.13 | 2.56 |0.80|0.52|0.45|2.26| | VanillaNet-9 | 41.4 | 8.6 | 79.87 | 2.91 |0.86|0.58|0.49|2.55| | VanillaNet-10 | 45.7 | 9.4 | 80.57 | 3.24 |0.89|0.63|0.53|2.84| | VanillaNet-11 | 50.0 | 10.3 | 81.08 | 3.59 | 0.95 |0.69|0.58|3.14| | VanillaNet-12 | 54.3 | 11.1 | 81.55 | 3.82 |1.00|0.75|0.62|3.44| | VanillaNet-13 | 58.6 | 11.9 | 82.05 | 4.26 |1.05|0.82|0.67|3.69|

下游任务

请参考此页面。

VanillaNet在检测和分割任务中实现了更高的每秒帧数（FPS）。

结果和预训练模型

ImageNet-1K训练模型

名称	参数量(M)	FLOPs(B)	延迟(ms)	准确率(%)	模型
VanillaNet-5	15.5	5.2	1.61	72.49	模型
VanillaNet-6	32.5	6.0	2.01	76.36	模型
VanillaNet-7	32.8	6.9	2.27	77.98	模型
VanillaNet-8	37.1	7.7	2.56	79.13	模型
VanillaNet-9	41.4	8.6	2.91	79.87	模型
VanillaNet-10	45.7	9.4	3.24	80.57	模型
VanillaNet-11	50.0	10.3	3.59	81.08	模型
VanillaNet-12	54.3	11.1	3.82	81.55	模型
VanillaNet-13	58.6	11.9	4.26	82.05	模型
VanillaNet-13-1.5x	127.8	26.5	7.83	82.53	模型
VanillaNet-13-1.5x†	127.8	48.9	9.72	83.11	模型

安装

实验结果使用 torch==1.10.2+cu113 torchvision==0.11.3+cu113 timm==0.6.12 生成。其他版本可能也适用。

按照官方说明安装 Pytorch 和 torchvision。

安装所需的包：

pip install timm==0.6.12
pip install cupy-cuda113
pip install torchprofile
pip install einops
pip install tensorboardX
pip install terminaltables

数据集准备

下载 ImageNet-1K 分类数据集并按如下结构组织数据：

/path/to/imagenet-1k/
  train/
    class1/
      img1.jpeg
    class2/
      img2.jpeg
  val/
    class1/
      img3.jpeg
    class2/
      img4.jpeg

测试

我们给出一个 VanillaNet-5 的示例评估命令：

不使用部署模式：

python -m torch.distributed.launch --nproc_per_node=1 main.py --model vanillanet_5 --data_path /path/to/imagenet-1k/ --real_labels /path/to/imagenet_real_labels.json --finetune /path/to/vanillanet_5.pth --eval True --model_key model_ema --crop_pct 0.875

使用部署模式：

python -m torch.distributed.launch --nproc_per_node=1 main.py --model vanillanet_5 --data_path /path/to/imagenet-1k/ --real_labels /path/to/imagenet_real_labels.json --finetune /path/to/vanillanet_5.pth --eval True --model_key model_ema --crop_pct 0.875 --switch_to_deploy /path/to/vanillanet_5_deploy.pth

训练

你可以使用以下命令在一台配有 8 个 GPU 的机器上训练 VanillaNet-5：

python -m torch.distributed.launch --nproc_per_node=8 main.py \
--model vanillanet_5 \
--data_path /path/to/imagenet-1k \
--batch_size 128 --update_freq 1  --epochs 300 --decay_epochs 100 \ 
--lr 3.5e-3 --weight_decay 0.35  --drop 0.05 \
--opt lamb --aa rand-m7-mstd0.5-inc1 --mixup 0.1 --bce_loss \
--output_dir /path/to/save_results \
--model_ema true --model_ema_eval true --model_ema_decay 0.99996 \
--use_amp true

这里，有效批量大小 = --nproc_per_node * --batch_size * --update_freq。在上面的例子中，有效批量大小是 8*128*1 = 1024。

要训练其他 VanillaNet 变体，需要更改 --model。以下是一些示例。

<details> <summary> VanillaNet-6 </summary> ``` python -m torch.distributed.launch --nproc_per_node=8 main.py \ --model vanillanet_6 \ --data_path /path/to/imagenet-1k \ --batch_size 128 --update_freq 1 --epochs 300 --decay_epochs 100 \ --lr 4.8e-3 --weight_decay 0.32 --drop 0.05 \ --layer_decay 0.8 --layer_decay_num_layers 4 \ --opt lamb --aa rand-m7-mstd0.5-inc1 --mixup 0.15 --bce_loss \ --output_dir /path/to/save_results \ --model_ema true --model_ema_eval true --model_ema_decay 0.99996 \ --use_amp true ``` </details> <details> <summary> VanillaNet-7 </summary>

python -m torch.distributed.launch --nproc_per_node=8 main.py \
--model vanillanet_7 \
--data_path /path/to/imagenet-1k \
--batch_size 128 --update_freq 1  --epochs 300 --decay_epochs 100 \ 
--lr 4.7e-3 --weight_decay 0.35  --drop 0.05 \
--layer_decay 0.8 --layer_decay_num_layers 5 \
--opt lamb --aa rand-m7-mstd0.5-inc1 --mixup 0.4 --bce_loss \
--output_dir /path/to/save_results \
--model_ema true --model_ema_eval true --model_ema_decay 0.99996 \
--use_amp true

</details> <details> <summary> VanillaNet-8 </summary>

python -m torch.distributed.launch --nproc_per_node=8 main.py \
--model vanillanet_8 \
--data_path /path/to/imagenet-1k \
--batch_size 128 --update_freq 1  --epochs 300 --decay_epochs 100 \ 
--lr 3.5e-3 --weight_decay 0.3  --drop 0.05 \
--opt lamb --aa rand-m7-mstd0.5-inc1 --mixup 0.4 --bce_loss \
--output_dir /path/to/save_results \
--model_ema true --model_ema_eval true --model_ema_decay 0.99996 \
--use_amp true

</details> <details> <summary> VanillaNet-9 </summary>

python -m torch.distributed.launch --nproc_per_node=8 main.py \
--model vanillanet_9 \
--data_path /path/to/imagenet-1k \
--batch_size 128 --update_freq 1  --epochs 300 --decay_epochs 100 \ 
--lr 3.5e-3 --weight_decay 0.3  --drop 0.05 \
--opt lamb --aa rand-m7-mstd0.5-inc1 --mixup 0.4 --bce_loss \
--output_dir /path/to/save_results \
--model_ema true --model_ema_eval true --model_ema_decay 0.99996 \
--use_amp true

</details> <details> <summary> VanillaNet-10 </summary>

python -m torch.distributed.launch --nproc_per_node=8 main.py \
--model vanillanet_10 \
--data_path /path/to/imagenet-1k \
--batch_size 128 --update_freq 1  --epochs 300 --decay_epochs 100 \ 
--lr 3.5e-3 --weight_decay 0.25  --drop 0.05 \
--opt lamb --aa rand-m7-mstd0.5-inc1 --mixup 0.4 --bce_loss \
--output_dir /path/to/save_results \
--model_ema true --model_ema_eval true --model_ema_decay 0.99996 \
--use_amp true

</details>

致谢

本仓库基于timm、DeiT、BEiT、RegVGG和ConvNeXt等仓库构建。

许可证

本项目在MIT许可证下发布。更多信息请参阅LICENSE文件。

说明文档PDF

说明文档PDF（中文版）可以在这里找到

引用

如果我们的工作对您的研究有帮助，请考虑引用：

@article{chen2023vanillanet,
  title={VanillaNet: the Power of Minimalism in Deep Learning},
  author={Chen, Hanting and Wang, Yunhe and Guo, Jianyuan and Tao, Dacheng},
  journal={arXiv preprint arXiv:2305.12972},
  year={2023}
}