Larq计算引擎 <img src="https://yellow-cdn.veclightyear.com/ab5030c0/5714864d-f22d-4a41-a43a-c1bb6b936768.png" alt="larq logo" height="80px" align="right" />

Larq计算引擎(LCE)是一个经过高度优化的推理引擎,用于部署极度量化的神经网络,如二进制神经网络(BNNs)。它目前支持各种移动平台,并已在Pixel 1手机和树莓派上进行了基准测试。LCE提供了一系列手工优化的TensorFlow Lite自定义操作符,适用于支持的指令集,采用内联汇编或使用编译器内在函数的C++开发。LCE利用优化技术,如分块以最大化缓存命中数、矢量化以最大化计算吞吐量,以及多线程并行化以利用多核现代台式机和移动CPU。

Larq计算引擎是BNN开发系列库的一部分;您还可以查看Larq用于构建和训练BNNs,以及Larq Zoo用于预训练模型。

主要特性

• 无缝端到端集成从训练到部署:

  • LCE与Larq和TensorFlow的紧密集成提供了顺畅的端到端训练和部署体验。

  • Larq Zoo中提供了一系列Larq预训练的BNN模型,可用于常见的机器学习任务。

  • LCE提供了一个自定义的基于MLIR的模型转换器,完全兼容TensorFlow Lite,并为Larq模型执行额外的网络级优化。

• 闪电般的部署在各种移动平台上:

  • LCE通过提供手工优化的内核和针对BNN模型的网络级优化,实现了高性能的设备内机器学习推理。

  • LCE目前支持基于64位ARM的移动平台,如Android手机和树莓派板。

  • LCE中的线程并行支持对于具有多核CPU的现代移动设备至关重要。

性能

下表展示了Larq计算引擎在不同版本的名为QuickNet的新颖BNN模型(在ImageNet数据集上训练,发布在Larq Zoo)上的单线程性能,在Raspberry Pi 4 Model B 1.5GHz (BCM2711)板、Pixel 1 Android手机(2016)和搭载M1 ARM CPU的Mac Mini上进行了测试: 以下是英文到中文的翻译:

作为参考,另一个主要的BNN库dabnn在Pixel 1手机上报告了Bi-RealNet(56.4%准确率)的推理时间为61.3毫秒,而LCE在同一设备上实现了Bi-RealNet的41.6毫秒推理时间。此外,他们还提出了一个修改版本BiRealNet-Stem,在43.2毫秒内实现了同样的56.4%准确率。

下表展示了Larq Compute Engine在Pixel 1手机和1.5GHz树莓派4 Model B (BCM2711)上的多线程性能:

基于2021-06-11(Pixel 1)、2021-06-13(Mac Mini M1)和2022-04-20(RPi 4B)使用LCE定制的TFLite模型基准测试工具(参见此处)进行基准测试,启用了XNNPack,并使用随机输入的BNN模型。

入门指南

按照以下步骤部署BNN with LCE:

1. 选择一个Larq模型

   您可以使用Larq构建和训练自己的模型,或从Larq Zoo选择一个预训练模型。

2. 转换Larq模型

   LCE基于TensorFlow Lite构建,使用TensorFlow Lite的FlatBuffer格式来转换和序列化Larq模型以进行推理。我们提供了一个LCE转换器,具有额外的优化步骤,以提高Larq模型在支持的目标平台上的执行速度。

3. 构建LCE

   LCE文档提供了Android和64位ARM基板(如树莓派)的构建说明。请按照提供的说明创建本地LCE构建或为其中一个支持的目标进行交叉编译。

4. 运行推理

   LCE使用TensorFlow Lite解释器来执行推理。除了已有的TensorFlow Lite操作符外,优化的LCE操作符也注册到解释器中,以执行模型中的Larq特定子图。一个示例,用于为您自己的应用创建和构建兼容LCE的TensorFlow Lite解释器,可在此处找到。

下一步

• 探索Larq预训练模型。
• 了解如何使用Larq构建和训练BNNs以用于您自己的应用程序。
• 如果您是移动开发人员,请访问Android快速入门。
• 查看我们针对Raspberry Pi和64位ARM基板的构建说明在此。
• 尝试我们的示例程序。

关于

Larq Compute Engine由Plumerai的一个深度学习研究和工程团队开发,旨在加速我们自己的研究和二进制神经网络的普及。