darts

DARTS: 一种创新的神经网络架构搜索方法

DARTS (Differentiable Architecture Search) 是一种用于自动设计神经网络架构的创新算法。该项目由 Hanxiao Liu、Karen Simonyan 和 Yiming Yang 提出，旨在解决传统神经网络架构设计中的挑战。

核心思想

DARTS 的核心思想是将离散的架构搜索空间转化为连续的空间，然后使用梯度下降法在这个连续空间中进行优化。这种方法使得架构搜索过程变得更加高效，只需要使用单个 GPU 就能完成搜索任务。

应用领域

DARTS 在多个领域都表现出色：

1. 图像分类：在 CIFAR-10 和 ImageNet 数据集上设计高性能的卷积神经网络架构。
2. 语言建模：在 Penn Treebank 和 WikiText-2 数据集上设计循环神经网络架构。

技术要求

DARTS 项目对环境有一些特定要求：

• Python 版本需要 3.5.5 或更高
• PyTorch 版本为 0.3.1
• torchvision 版本为 0.2.0

值得注意的是，当前版本不支持 PyTorch 0.4，使用该版本可能导致内存溢出问题。

搜索过程

DARTS 的架构搜索过程分为两个主要阶段：

1. 使用小型代理模型进行架构搜索
2. 使用完整大小的模型评估搜索到的最佳架构

在搜索阶段，DARTS 使用二阶近似方法来提高搜索效率。需要注意的是，搜索阶段的验证性能并不能直接反映最终架构的性能，因此需要在搜索完成后使用完整大小的模型从头开始训练。

实验结果

DARTS 在多个benchmark上都取得了出色的成绩：

• CIFAR-10：测试错误率为 2.63%，模型参数量为 3.3M
• PTB：测试困惑度为 55.68，模型参数量为 23M
• ImageNet：Top-1 错误率为 26.7%，Top-5 错误率为 8.7%，模型参数量为 4.7M

可视化功能

DARTS 项目还提供了可视化功能，可以直观地展示学习到的神经网络单元结构。这一功能需要使用 graphviz 包来实现。

结语

DARTS 作为一种创新的神经网络架构搜索方法，不仅大大提高了搜索效率，还在多个任务上取得了优秀的性能。它为自动化机器学习领域提供了新的思路，有望在未来推动更多智能系统的发展。