Arm NN

Arm NN 是 Android 和 Linux 上性能最佳的机器学习 (ML) 推理引擎, 可加速在 Arm Cortex-A CPU 和 Arm Mali GPU 上的 ML。这个 ML 推理引擎是一个开源 SDK, 弥补了现有神经网络框架和低功耗 Arm IP 之间的差距。

Arm NN 由于采用 Arm 架构特定优化 (例如 SVE2) 而比通用 ML 库表现更出色, 通过利用 Arm Compute Library (ACL)。要针对 Arm Ethos-N NPU, Arm NN 使用 Ethos-N NPU Driver。对于 Arm Cortex-M 加速,请参见 CMSIS-NN。

Arm NN 使用可移植的 C++17 编写, 并使用 CMake 构建 - 可在各种目标平台和主机环境上进行构建。 Python 开发人员可以通过我们的 Arm NN TF Lite Delegate 与 Arm NN 进行接口。

快速入门指南

Arm NN TF Lite Delegate 提供了 Arm NN 中最广泛的 ML 运算符支持, 是加速您的 ML 模型的简单方法。要开始使用 TF Lite Delegate,请首先下载最新版本 Arm NN 的 预构建二进制文件。使用 Python 解释器, 您可以将您的 TF Lite 模型加载到 Arm NN TF Lite Delegate 中并运行加速推理。请查看 GitHub 上的 快速入门指南 或这个更全面的 Arm Developer Guide, 了解如何使用 Arm NN TF Lite Delegate 加速您的 TF Lite 模型。

将 Arm NN 集成到 Android 应用程序中最快的方法是使用我们的 Arm NN AAR (Android Archive) 文件和 Android Studio。该 AAR 文件很好地打包了 Arm NN TF Lite Delegate、Arm NN 本身和 ACL, 准备集成到您的 Android ML 应用程序中。使用该 AAR 允许您受益于 Arm NN TF Lite Delegate 的广泛运算符支持。我们在 Arm AI Tech Talk 上讨论了如何使用此 AAR 文件在 5 分钟内加速 ML 图像分割应用程序。要下载 Arm NN AAR 文件, 请参见下面的 预构建二进制文件 部分。

我们还提供了 Arm NN 的 Debian 软件包, 这是快速开始使用 Arm NN 和 TF Lite 解析器的方式(尽管 ML 运算符支持比 TF Lite Delegate 少)。这里有一个安装指南, 提供了如何在 Ubuntu 20.04 上安装 Arm NN Core 和 TF Lite 解析器的说明。

要从头构建 Arm NN, 我们提供了 Arm NN Build Tool。这个工具由 参数化 bash 脚本 和一个 Dockerfile 组成, 用于构建 Arm NN 及其依赖项, 包括 Arm Compute Library (ACL)。这个工具取代/取代了现有的大部分 Arm NN 构建指南,作为一个用户友好的方式来构建 Arm NN。从头开始构建 Arm NN 的主要好处是能够 精确选择要为您的 ML 项目构建的组件。

预构建二进制文件

操作系统	特定于体系结构的发行版存档 (下载)
Android (AAR)
Android 11 "R/Red Velvet Cake" (API level 30)
Android 12 "S/Snow Cone" (API level 31)
Android 13 "T/Tiramisu" (API level 33)
Android 14 "U/Upside Down Cake" (API level 34)

软件概述

Arm NN SDK 支持 TensorFlow Lite (TF Lite) 和 ONNX 格式的 ML 模型。

Arm NN 的 TF Lite Delegate 通过 Python 或 C++ API 加速 TF Lite 模型。支持的 TF Lite 运算符由 Arm NN 加速, 任何不支持的运算符都委托 (回退) 给参考 TF Lite 运行时 - 确保广泛的 ML 运算符支持。 建议您将模型转换为 TF Lite 格式, 并使用 TF Lite Delegate。有关如何使用 TF Lite Delegate 的更多信息,请参阅快速入门指南。

Arm NN 还提供 TF Lite 和 ONNX 解析器, 它们是用于将 TF Lite 或 ONNX 模型集成到您的 ML 应用程序中的 C++ 库。请注意, 这些解析器的 ML 运算符覆盖范围没有 Arm NN TF Lite Delegate 广泛。

Android ML 应用程序开发人员有多种选择来使用 Arm NN:

如快速入门指南部分所述, 在 Android Studio 中使用我们的 Arm NN AAR (Android Archive) 文件
下载并使用我们针对 Android 平台的预构建二进制文件
使用 Android NDK 从头构建 Arm NN, 详见 GitHub 指南

臂也提供了一个Android-NN-Driver，它实现了一个面向Android NNAPI的硬件抽象层(HAL)。当Android NN驱动程序集成到Android设备上时，Android应用程序中使用的ML模型将自动由Arm NN加速。

有关Arm NN组件的更多信息,请参考我们的文档。

Arm NN是机器学习平台的一个关键组件,该平台是Linaro机器智能计划的一部分。

有关常见问题和故障排除建议,请参见常见问题解答或查看以前的GitHub问题。

参与

参与的最佳方式是使用我们的软件。如果您需要帮助或遇到问题,请通过GitHub Issues提出。您也可以查看我们的任何待解决问题。我们也欢迎对我们的文档提供反馈。

没有志愿者实现的功能请求将被关闭,但带有'帮助需要'标签,可在此处找到。一旦找到合适的问题,请随意重新打开并添加评论,这样Arm NN工程师就知道您正在处理它并可以提供帮助。

当该功能实现后,将删除'帮助需要'标签。

贡献

Arm NN项目欢迎贡献。有关如何为Arm NN做出贡献的更多详细信息,请参见MLPlatform.org网站上的贡献页面或查看贡献指南。

特别是如果您想实现自己的后端来取代我们的CPU、GPU和NPU后端,那里有关于后端开发的指南:后端开发指南,动态后端开发指南。

免责声明

armnn/tests目录包含Arm NN开发期间使用的测试。其中许多依赖于第三方IP、模型protobuf和图像文件,这些文件未随Arm NN分发。一些测试所需的依赖项可以从互联网上免费获得,供有兴趣的人实验,但不能开箱即用。

许可证

Arm NN采用MIT许可证提供。有关更多信息,请参见LICENSE。对该项目的贡献也接受相同的许可证。

每个文件包含以下标签,而不是完整的许可证文本。

SPDX-License-Identifier: MIT

这使得基于SPDX许可证标识符的许可证信息可以进行机器处理,这些标识符可在此处获得:http://spdx.org/licenses/

包容性语言承诺

Arm NN符合Arm的包容性语言政策,据我们所知,不包含任何非包容性语言。

如果您发现有任何令您担心的地方,请发送电子邮件至terms@arm.com

第三方

Arm NN使用的第三方工具:

工具	许可证 (SPDX ID)	描述	版本	来源
cxxopts	MIT	一个轻量级的C++选项解析器库	3.1.1	https://github.com/jarro2783/cxxopts
doctest	MIT	一个头文件式的C++测试框架	2.4.6	https://github.com/onqtam/doctest
fmt	MIT	{fmt}是一个开源格式化库,提供了一个快速安全的C stdio和C++iostreams的替代方案	8.30	https://github.com/fmtlib/fmt
ghc	MIT	一个header-only的std::filesystem兼容助手库	1.3.2	https://github.com/gulrak/filesystem
half	MIT	一个IEEE 754标准的16位半精度浮点数库	1.12.0	http://half.sourceforge.net
mapbox/variant	BSD	一个'boost::variant'的替代header-only库	1.1.3	https://github.com/mapbox/variant
stb	MIT	一个图像加载、调整大小和写入的库	2.16	https://github.com/nothings/stb