Fasterai

fasterai是一个旨在使神经网络变得更小和更快的库。它主要依赖于常见的网络压缩技术，如剪枝、知识蒸馏、彩票假说等。

fasterai的核心特性是其稀疏化能力，它建立在4个主要模块之上：粒度、上下文、标准和计划。每个模块都具有高度的可定制性，允许您根据需求进行调整，甚至创建自己的模块！

项目文档

访问Read The Docs项目页面或阅读以下README以了解更多关于使用fasterai的信息。

特性

1. 稀疏化

替代文本

根据以下因素使您的模型变得稀疏（即进行剪枝）：

稀疏度：将被替换为0的权重百分比
粒度：进行剪枝的操作粒度（移除权重、向量、卷积核、过滤器）
上下文：独立剪枝每一层（局部剪枝）或整个模型（全局剪枝）
标准：用于选择要移除权重的标准（幅度、变化量等）
计划：您想要使用的剪枝计划（一次性、迭代式、渐进式等）

这可以通过使用SparsifyCallback(稀疏度, 粒度, 上下文, 标准, 计划)来实现。

2. 剪枝

替代文本

一旦您的模型由于零权重而出现无用节点，它们可以被移除，不再作为网络的一部分。这可以通过使用Pruner()方法来实现

3. 正则化

替代文本

不需要显式地使网络变得稀疏，而是通过将权重推向尽可能小来训练网络形成稀疏连接。

正则化可以应用于权重组，遵循与稀疏化相同的粒度，即：

粒度： 进行正则化的操作粒度（权重、向量、卷积核、滤波器等）

这可以通过使用RegularizationCallback(granularity)来实现

4. 知识蒸馏

替代文本

使用KnowledgeDistillation回调将大模型获得的知识蒸馏到较小的模型中。

5. 彩票假设

替代文本

在网络中找到中奖彩票，即能够达到至少与整个网络相似性能的初始子网络。

快速开始

0. 导入fasterai

from fasterai.sparse.all import *

1. 使用fastai创建模型

learn = cnn_learner(dls, model)

2. 获取Fasterai回调

sp_cb=SparsifyCallback(sparsity, granularity, context, criteria, schedule)

3. 训练模型使其变得稀疏！

learn.fit_one_cycle(n_epochs, cbs=sp_cb)

安装

pip install git+https://github.com/nathanhubens/fasterai.git

或

pip install fasterai

教程

加入社区

加入我们的Discord服务器，认识其他FasterAI用户并分享您的项目！

引用

@software{Hubens,
  author       = {Nathan Hubens},
  title        = {fasterai},
  year         = 2022,
  publisher    = {Zenodo},
  version      = {v0.1.6},
  doi          = {10.5281/zenodo.6469868},
  url          = {https://doi.org/10.5281/zenodo.6469868}
}