ai.deploy.box

ai.deploy.box 项目介绍

概述

ai.deploy.box 是一个集成多种深度学习推理框架的 AI 工具箱，专注于 C++ 的模型部署。这一项目旨在通过将主流深度学习推理框架（例如 ONNXRUNTIME、MNN、NCNN、TNN、PaddleLite 和 OpenVINO）进行抽象，并统一为接口，来加速模型的部署过程。项目不仅为学习而设计，同时也是对作者多年工作的总结。它以用户友好的方式提供多语言、多场景的示例，极大地方便了不同的开发者和使用场景。

支持的平台和语言

• 支持的平台：

  • MacOS
  • Linux
  • Android
  • RaspberryPi
  • Webassembly
  • 注意：Win64 版本即将推出，IOS 由于资源限制暂时不支持。

• 支持的开发语言：

  • C
  • C++
  • Python
  • Lua
  • Go

功能特点

• 丰富的后端支持： 集成了 OnnxRuntime、MNN、NCNN、TNN、PaddleLite 以及 OpenVINO 等主流 AI 推理框架。
• 用户友好： 将所有推理框架抽象为统一的接口，可通过配置文件轻松选择使用。
• 多场景支持： 提供涵盖 Linux、MacOS、Android 等平台的样例，方便开发者快速上手。
• 多语言调用： 提供 Python、Lua 和 Go 等语言的调用示例。

示例和仓库

• 网络演示： 提供基于 Webassembly 的在线演示。
• 本地运行示例： 支持在 Google Colab 上直接运行 C++、Python 和 Go 的示例。
• 相关仓库：
  • PC Demo(Qt)
  • Android Demo(Kotlin)
  • Lua Demo
  • Go Zeros
  • Python FastAPI
  • Webassembly

快速入门

环境

建议使用 Docker 来构建和运行环境，确保一致性和便利性。

构建

项目支持在 Docker 和源码两种构建方式。使用 Docker 是推荐方法，因为它可以提供更为独立和一致的开发环境。

模型

项目支持许多常用模型，包括但不限于人脸检测、物体检测等，并已将所有模型上传至 Hugging Face，方便下载。

使用案例

项目提供了一系列使用案例，涵盖多个 AI 应用领域，如人脸检测、OCR 识别和目标检测等。这些案例设计简洁，便于开发者根据需要进行二次开发。

项目框架

ai.deploy.box 提供了两种使用模式：S 模式（C API）和 H 模式（C++ API），这两种模式都旨在满足不同用户的需求，提供从配置到高效运行的一整套解决方案。

结语

ai.deploy.box 是一个强大且灵活的工具箱，为深度学习模型的快速部署提供了便捷的途径。无论是学生、研究人员还是企业开发者，都可以借助这个项目加速其 AI 方案的开发和落地。欢迎更多的人加入项目贡献，共同推进 AI 技术的发展。