uTensor

uTensor 项目介绍

什么是 uTensor?

uTensor 是一个极其轻量级的机器学习推理框架，基于 TensorFlow 构建，特别为 Arm 平台进行了优化。它由一个运行时库和一个离线工具组成，主要负责模型的翻译工作。uTensor 的核心运行时库的体积非常小，仅约 2KB。此外，该库中还包含了一些算子、内存管理器和调度器的示例实现。

uTensor 的工作流程是怎样的?

在 TensorFlow 中构建和训练模型后，uTensor 接收该模型，并生成所需的 .cpp 和 .hpp 文件，这些文件包括用于推理的 C++11 代码。在嵌入式设备上使用 uTensor 如同复制粘贴一样简单。

uTensor 运行时如何运作?

uTensor 通过轻量级的运行时机制实现了高效的数据操作。运行时包括一些关键模块，这些模块负责核心的底层功能，实现了系统安全、低功耗、低动态和静态内存占用等特性。所有张量元数据及实际数据都单独存放，并且可以确保运行时时不超过预设的内存使用量。

重要特性和设计理念

uTensor 的重新架构围绕着一些核心理念展开，包括：

• 张量描述了数据的访问方式和位置。
• 算子是张量无关的，这意味着它们可以高效地处理数据块。
• 注重系统的整体性能表现，保证模型能在小内存占用下高效运行。
• 系统安全，确保模型更新过程中不会与用户空间或系统空间内存发生冲突。
• 易于调试，提供明确简洁的界面，支持 GDB 调试。

高级 API 示例

uTensor 提供了简单易用的高级 API，例如矩阵乘法操作符，通过设置输入和输出参数进行计算。如下是一个简单的使用示例：

using namespace uTensor;

const uint8_t s_a[4] = {1, 2, 3, 4};
const uint8_t s_b[4] = {5, 6, 7, 8};
const uint8_t s_c_ref[4] = {19, 22, 43, 50};

// 初始化内存分配器
localCircularArenaAllocator<256> meta_allocator;
localCircularArenaAllocator<256> ram_allocator;

void foo() {
  // 设置默认上下文的内存分配器
  Context::get_default_context()->set_metadata_allocator(&meta_allocator);
  Context::get_default_context()->set_ram_data_allocator(&ram_allocator);

  // 定义张量
  Tensor a = new /*const*/ RomTensor({2, 2}, u8, s_a);
  Tensor b = new /*const*/ RomTensor({2, 2}, u8, s_b);
  Tensor c_ref = new RomTensor({2,2}, u8, s_c_ref);
  Tensor c = new RamTensor({2, 2}, u8);

  // 设置并执行矩阵乘法运算
  MatrixMultOperator<uint8_t> mult_AB;
  mult_AB
      .set_inputs({{MatrixMultOperator<uint8_t>::a, a}, {MatrixMultOperator<uint8_t>::b, b}})
      .set_outputs({{MatrixMultOperator<uint8_t>::c, c}})
      .eval();

  // 结果比较
  TensorShape& c_shape = c->get_shape();
  for (int i = 0; i < c_shape[0]; i++) {
    for (int j = 0; j < c_shape[1]; j++) {
      if( static_cast<uint8_t>(c(i, j)) != static_cast<uint8_t>(c_ref(i, j)) ) {
        printf("Oh crap!\n");
        exit(-1);
      }
    }
  }
}

本地构建和测试

可以通过以下步骤在本地构建和测试 uTensor：

git clone git@github.com:uTensor/uTensor.git
cd uTensor/
git checkout proposal/rearch
git submodule init
git submodule update
mkdir build
cd build/
cmake -DPACKAGE_TESTS=ON -DCMAKE_BUILD_TYPE=Debug ..
make
make test

在 Arm Mbed OS 上的构建和运行

uTensor 的核心库已配置为一个 mbed 库，用户只需将其导入项目并按常规方式构建：

mbed new my_project
cd my_project
mbed import https://github.com/uTensor/uTensor.git
mbed compile

适用于 Arm 系统的构建

目前对 Arm 的 CMake 支持处于实验阶段。默认构建步骤如下：

mkdir build && cd build
cmake -DCMAKE_BUILD_TYPE=Debug -DCMAKE_TOOLCHAIN_FILE=../extern/CMSIS_5/CMSIS/DSP/gcc.cmake  ..

使用 CMSIS 优化的核：

mkdir build && cd build
cmake -DARM_PROJECT=1 -DCMAKE_BUILD_TYPE=Debug -DCMAKE_TOOLCHAIN_FILE=../extern/CMSIS_5/CMSIS/DSP/gcc.cmake  ..

更多阅读

• 为什么边缘计算重要
• 微小机器学习的未来
• TensorFlow
• Mbed
• 节点查看器
• 使用 TensorFlow 量化神经网络方法
• MXNet 手写数字识别教程

通过这些特性和设计理念，uTensor 为开发者提供了一个轻量但强大的工具，尤其适合在资源受限的环境中进行机器学习推理。