qkeras

项目介绍

QKeras 是一个 Keras 的量化扩展工具，它提供了一些可以直接替换 Keras 层的组件。特别是那些创建参数、激活层并执行算术操作的层。QKeras 的设计目标是让开发者能够迅速地为 Keras 网络创建一个深度量化版本。

Keras 是一个用于构建和训练深度学习模型的高级 API，适用于快速原型设计、高级研究和生产，其优势包括用户友好、模块化可组合以及易于扩展。QKeras 沿用了 Keras 的设计原则，即用户友好、模块化和可扩展，同时尽量不对 Keras 本身的功能进行侵入性修改。

为了成功地量化一个模型，用户需要用 QKeras 的量化版本替换创建变量的层（例如 Dense、Conv2D 等），以及任何执行数学运算的层都需在之后进行量化处理。

实现的层

QKeras 实现了一系列用于量化的层，包括：

QDense
QConv1D
QConv2D
QDepthwiseConv2D
QSeparableConv1D 与 QSeparableConv2D
QMobileNetSeparableConv2D
QConv2DTranspose
QActivation
QAdaptiveActivation
QAveragePooling2D
QBatchNormalization（仍在实验阶段）
QOctaveConv2D
序列层如 QSimpleRNN、QLSTM、QGRU 等

需注意的是，目前并非所有功能都能安全地与其他高级操作（如层包装器）一起使用。

QKeras 针对传统激活函数还封装了一系列量化激活函数，方便开发者保存和恢复网络架构，并可在需要时更换为量化版本。

激活层实现

QKeras 实现了一系列特殊的激活函数，如：

smooth_sigmoid(x)
hard_sigmoid(x)
binary_sigmoid(x)
quantized_bits 和其他类似函数

这些函数大多涉及到随机版本的激活过程，通过输入 x 的均匀分布随机数来生成基于激活函数期望值的结果。

使用示例

例如，我们有一个简单的 Keras 网络，可以利用 QKeras 将其量化：

使用 Keras 创建网络：

x = x_in = Input(shape)
x = Conv2D(18, (3, 3), name="first_conv2d")(x)
x = Activation("relu")(x)
x = SeparableConv2D(32, (3, 3))(x)
x = Activation("relu")(x)
x = Flatten()(x)
x = Dense(NB_CLASSES)(x)
x = Activation("softmax")(x)

使用 QKeras 完成量化：

from qkeras import *

x = x_in = Input(shape)
x = QConv2D(18, (3, 3), kernel_quantizer="stochastic_ternary",
            bias_quantizer="ternary", name="first_conv2d")(x)
x = QActivation("quantized_relu(3)")(x)
x = QSeparableConv2D(32, (3, 3), depthwise_quantizer=quantized_bits(4, 0, 1),
                     pointwise_quantizer=quantized_bits(3, 0, 1),
                     bias_quantizer=quantized_bits(3),
                     depthwise_activation=quantized_tanh(6, 2, 1))(x)
x = QActivation("quantized_relu(3)")(x)
x = Flatten()(x)
x = QDense(NB_CLASSES, kernel_quantizer=quantized_bits(3),
           bias_quantizer=quantized_bits(3))(x)
x = QActivation("quantized_bits(20, 5)")(x)
x = Activation("softmax")(x)