ModelAssistant

项目介绍: SenseCraft Model Assistant

SenseCraft Model Assistant（简称SSCMA）是由Seeed Studio开发的一个开源项目，专注于为嵌入式设备提供尖端的人工智能算法。这个项目旨在帮助开发者和创客将各种AI模型轻松部署到低成本硬件上，比如微控制器和单板计算机（SBCs）。

用户友好的平台

SSCMA提供了一个用户友好的平台，使用者可以轻松地对收集的数据进行训练，并通过训练过程中生成的可视化图形更好地了解算法的性能。

低功耗高性能的模型

项目重点在于边缘侧AI算法的研究，算法模型可以部署在诸如ESP32、部分Arduino开发板，甚至像树莓派这样的嵌入式SBC上。关键之处在于，这些设备的功耗通常低于0.3瓦特。

支持多格式模型导出

SSCMA中，TensorFlow Lite主要用于微控制器，而ONNX主要用于嵌入式Linux设备。一些特殊格式，如TensorRT、OpenVINO等，也得到了OpenMMLab的良好支持。SSCMA添加了TFLite模型导出功能，可以直接转换为TensorRT、UF2格式，便捷地将其拖放到设备中进行部署。

项目特色

我们已对OpenMMLab的优秀算法进行了优化，使其在真实场景中更具用户友好性，实现更快更准确的推理。目前我们支持如下方向的算法：

异常检测

在现实世界中，异常数据往往难以识别，即便能识别出来，也会耗费高昂的代价。我们的异常检测算法能够以低成本的方式收集正常数据，任何超出正常数据的部分都会被视为异常。

计算机视觉

项目提供了一系列计算机视觉算法，如目标检测、图像分类、图像分割和姿态估计。这些算法经过优化，可以在低端设备上实现高效运行和准确度。

可定制的场景

SSCMA支持特定生产环境的定制化场景，如模拟仪表、传统数字表以及音频分类识别。未来我们会持续添加更多适用于特定场景的算法。

最新动态

SSCMA一直致力于提供最前沿的AI算法，以获得最佳性能和精度。根据社区反馈，我们不断更新和优化算法，以满足用户的实际需求。以下是最近的一些更新：

即将推出的YOLO-World和MobileNetV4

我们正在开发最新的YOLO-World、MobileNetV4算法，以适用于嵌入式设备。同时，我们正在重构SSCMA以减少依赖，使其更轻量、更易用。

最新的YOLOv8和其他模型

通过SSCMA-Micro，用户现在可以在微控制器上部署最新的YOLOv8、YOLOv8 Pose、Nvidia Tao Models，并增加了ByteTrack算法，实现低成本硬件的实时对象跟踪。

精简版Swift YOLO

我们实现了一种轻量级的目标检测算法Swift YOLO，该算法专为有限计算能力的低成本硬件设计。其可视化工具、模型训练和导出命令行界面已被重构。

仪表识别

SSCMA提供了用于识别各种仪表读数的仪表识别算法，比如常见的模拟仪表和数字仪表。

基准测试

SSCMA的目标是在嵌入式设备上提供最佳性能和精度。我们的最新算法基准测试展示出了出色的表现和效率。

SSCMA工具链

SSCMA为用户提供了一套完整的工具链，以便在低成本硬件上轻松部署AI模型，包括：

• SSCMA Model Zoo：为不同应用场景提供一系列预训练模型。
• SSCMA-Web-Toolkit（现在重新命名为SenseCraft AI）：一个基于Web的工具，使得机器学习模型的训练和部署快速、简单且可访问。
• SSCMA-Micro：一个跨平台框架，可将SSCMA模型部署并应用于微控设备。
• Seeed-Arduino-SSCMA：支持SSCMA-Micro固件的Arduino库。
• Python-SSCMA：用于与微控制器进行交互和高级深度学习应用的Python库。

鸣谢

SSCMA是多个开发者和贡献者共同努力的成果，我们感谢以下项目和组织的贡献，这些贡献为SSCMA的实现提供了参考：

• OpenMMLab
• ONNX
• NCNN
• TinyNN

许可

本项目遵循Apache 2.0许可协议发布。