flutter-tflite

<p align="center"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/6c371bd7-c34d-4f4c-afd7-3d74902aa887.png"/> </br> </p> <p align="center"> <a href="https://flutter.dev"> <img src="https://img.shields.io/badge/Platform-Flutter-02569B?logo=flutter" alt="平台" /> </a> <a href="https://pub.dartlang.org/packages/tflite_flutter"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/4c085ac1-062c-426b-81b9-4322c1bfc3b5.svg" alt="Pub 包" /> </a> <a href="https://pub.dev/documentation/tflite_flutter/latest/tflite_flutter/tflite_flutter-library.html"> <img alt="文档" src="https://readthedocs.org/projects/hubdb/badge/?version=latest"> </a> <a href="https://opensource.org/licenses/Apache-2.0"><img src="https://yellow-cdn.veclightyear.com/835a84d5/71e9b291-6ab6-40e4-9eba-7827b9dbc545.svg"></a> </a> </p>

公告

更新：2023年4月26日

这个仓库是由TensorFlow管理的、由杰出的Amish Garg创建的tflite_flutter_plugin项目的分支。该项目的目标是支持我们的Flutter社区使用TensorFlow Lite框架创建基于机器学习的应用程序。

这个项目目前正在进行中，我们正在更新它以创建一个符合最新Flutter和TensorFlow Lite标准的工作插件。也就是说，我们非常欢迎拉取请求和贡献，这些将由TensorFlow或Flutter团队成员进行审核。我们感谢您在我们更新过程中的理解。

如果有任何问题，请随时通过在问题或讨论区发帖与我们联系。

谢谢！

• PaulTR

概述

TensorFlow Lite Flutter插件为访问TensorFlow Lite解释器和执行推理提供了灵活快速的解决方案。其API与TFLite Java和Swift API相似。它直接绑定到TFLite C API，使其高效（低延迟）。在Android上提供NNAPI、GPU委托的加速支持，在iOS上提供Metal和CoreML委托的支持，在桌面平台上提供XNNPack委托的支持。

主要特点

• 支持Android和iOS多平台
• 灵活使用任何TFLite模型
• 使用多线程加速
• 结构与TensorFlow Lite Java API相似
• 推理速度接近使用Java API构建的原生Android应用
• 在不同的isolate中运行推理，防止UI线程出现卡顿

（重要）初始设置：将动态库添加到您的应用

Android 和 iOS

示例和支持现在支持动态库下载！iOS示例可以通过在各自的iOS文件夹中运行以下命令来执行：

flutter build ios 和 flutter install ios

Android可以通过以下命令运行：

flutter build android 和 flutter install android

注意：这需要设备的最低API级别为26。

注意：TFLite可能在iOS模拟器中无法工作。建议使用物理设备进行测试。

在创建发布存档（IPA）时，Xcode会剥离符号，因此flutter build ipa命令可能会抛出Failed to lookup symbol ... symbol not found错误。要解决这个问题：

1. 在Xcode中，转到Target Runner > Build Settings > Strip Style
2. 将All Symbols更改为Non-Global Symbols

MacOS

对于MacOS，需要手动将TensorFlow Lite动态库添加到项目中。 为此，首先需要构建一个.dylib。您可以按照Bazel构建指南或CMake构建指南来构建库。

CMake注意事项：

• 在CMake中进行交叉编译可以使用： -DCMAKE_OSX_ARCHITECTURES=x86_64|arm64

• 使用lipo捆绑两种架构（arm / x86）： lipo -create arm64/libtensorflowlite_c.dylib x86/libtensorflowlite_c.dylib -output libtensorflowlite_c.dylib 作为第二步，需要将库添加到你的应用程序的XCode项目中。为此，你可以按照Flutter官方指南中添加动态库的步骤1和2进行操作。

Linux

对于Linux，需要手动将TensorFlow Lite动态库添加到项目中。 首先需要构建一个.so文件。你可以按照Bazel构建指南或CMake构建指南来构建库文件。

第二步，需要将库文件添加到你的应用程序项目中。这是一个简单的过程：

1. 在你的项目顶层创建一个名为blobs的文件夹
2. 将libtensorflowlite_c-linux.so复制到这个文件夹中
3. 在你的linux/CMakeLists.txt文件中添加以下行：

...

# 获取tf lite二进制文件
install(
  FILES ${PROJECT_BUILD_DIR}/../blobs/libtensorflowlite_c-linux.so
  DESTINATION ${INSTALL_BUNDLE_DATA_DIR}/../blobs/
)

Windows

对于Windows，需要手动将TensorFlow Lite动态库添加到项目中。 首先需要构建一个.dll文件。你可以按照Bazel构建指南或CMake构建指南来构建库文件。

第二步，需要将库文件添加到你的应用程序项目中。这是一个简单的过程：

1. 在你的项目顶层创建一个名为blobs的文件夹
2. 将libtensorflowlite_c-win.dll复制到这个文件夹中
3. 在你的windows/CMakeLists.txt文件中添加以下行：

...

# 获取tf lite二进制文件
install(
  FILES ${PROJECT_BUILD_DIR}/../blobs/libtensorflowlite_c-win.dll 
  DESTINATION ${INSTALL_BUNDLE_DATA_DIR}/../blobs/
)

TFLite Flutter辅助库

辅助库已被弃用。新的替代开发正在进行中，地址为https://github.com/google/flutter-mediapipe。当前计划是在2023年8月底前提供广泛支持。

导入

import 'package:tflite_flutter/tflite_flutter.dart';

使用说明

导入库

在pubspec.yaml文件的依赖部分，添加tflite_flutter: ^0.10.1（根据最新发布版本相应调整版本号）

创建解释器

• 从资源文件创建

  将your_model.tflite放在assets目录下。确保在pubspec.yaml中包含了assets。

  final interpreter = await Interpreter.fromAsset('assets/your_model.tflite');

参考文档以了解如何从缓冲区或文件创建解释器。

执行推理

• 单一输入和输出

  使用void run(Object input, Object output)。

  // 例如：如果输入张量形状为[1,5]，类型为float32
  var input = [[1.23, 6.54, 7.81, 3.21, 2.22]];
  
  // 如果输出张量形状为[1,2]，类型为float32
  var output = List.filled(1*2, 0).reshape([1,2]);
  
  // 推理
  interpreter.run(input, output);
  
  // 打印输出
  print(output);

• 多个输入和输出

  使用void runForMultipleInputs(List<Object> inputs, Map<int, Object> outputs)。

  var input0 = [1.23];  
  var input1 = [2.43];  
  
  // 输入：List<Object>
  var inputs = [input0, input1, input0, input1];  
  
  var output0 = List<double>.filled(1, 0);  
  var output1 = List<double>.filled(1, 0);
  
  // 输出：Map<int, Object>
  var outputs = {0: output0, 1: output1};
  
  // 推理  
  interpreter.runForMultipleInputs(inputs, outputs);
  
  // 打印输出
  print(outputs)

关闭解释器

interpreter.close();

使用IsolateInterpreter进行异步推理

要使用异步推理，首先创建你的Interpreter，然后用IsolateInterpreter包装它。

final interpreter = await Interpreter.fromAsset('assets/your_model.tflite');
final isolateInterpreter =
        await IsolateInterpreter.create(address: interpreter.address);

isolateInterpreter 的 run 和 runForMultipleInputs 方法都是异步的：

await isolateInterpreter.run(input, output);
await isolateInterpreter.runForMultipleInputs(inputs, outputs);

通过使用 IsolateInterpreter，推理过程在一个单独的 isolate 中运行。这确保了负责 UI 任务的主 isolate 不会被阻塞，保持响应性。