ai-hub-models

项目简介

Qualcomm® AI Hub Models项目是一套经过优化的、适用于在Qualcomm设备上部署的先进机器学习模型集。该项目旨在为开发者提供多种经过优化处理的模型，方便在Qualcomm芯片上实现高效的AI应用。

项目功能

模型类别

Qualcomm® AI Hub Models包括多个类别的模型，这些模型根据不同的应用场景进行了详细分类：

• 计算机视觉：包括图像分类、图像编辑、超分辨率、语义分割、目标检测、姿态估计和深度估计等模型。
• 音频：提供语音识别模型。
• 多模态：整合了文本和图像的多模态模型。
• 生成式AI：包括图像生成和文本生成模型。

支持的设备和性能

项目支持在多种Qualcomm设备上运行，并提供详尽的设备原生性能数据。支持的硬件包括智能手机、计算平台、汽车平台和物联网平台等，涵盖了多种Snapdragon芯片。

设备原生应用程序

项目还提供了设备原生应用示例，以展示如何在物理设备上运行这些模型，包括模型编译和在设备上进行推理。

如何使用

安装Python包

用户可以通过pip安装qai_hub_models包，来获取项目中的各种模型。这些模型经过特定优化，可以直接在Qualcomm设备上运行。

pip install qai_hub_models

某些模型（例如YOLOv7）可能需要额外的依赖，可以通过以下命令安装：

pip install "qai_hub_models[yolov7]"

配置AI Hub访问

使用某些高级功能（如模型编译、设备运行时分析等）需要配置Qualcomm® AI Hub访问权限。用户需创建Qualcomm® ID并获取API令牌来配置访问。

在物理设备上导出并运行模型

Qualcomm® AI Hub Models提供了脚本，可以在Qualcomm设备上编译和运行模型。用户可以通过以下命令导出并运行YOLOv7模型：

python -m qai_hub_models.models.yolov7.export [--target-runtime ...] [--device ...] [--help]

端到端模型演示

项目提供端到端的模型演示，通过这些示例，用户可以学习如何预处理输入数据、执行模型推理以及后处理输出结果。

设备和硬件支持

设备原生运行时

• Qualcomm AI Engine Direct支持在Android、Linux和Windows上运行。
• LiteRT (TensorFlow Lite)支持在Android和Linux上运行。
• ONNX支持在Android、Linux和Windows上运行。

硬件目标与精度

支持的计算单元包括CPU、GPU和NPU（含Hexagon DSP和HTP），支持的精度包括FP32、FP16、INT16和INT8等。

支持的芯片组

支持广泛的Snapdragon移动平台、计算平台、汽车平台和IoT平台，包括Snapdragon 8系列、Snapdragon X Elite等。

支持的设备

诸如Samsung Galaxy系列、Xiaomi手机、Snapdragon X Elite CRD等多款设备皆在支持之列。

需要帮助？

如果在使用过程中遇到问题，可以通过以下方式获得支持：

• Slack
• GitHub Issues
• Email: ai-hub-support@qti.qualcomm.com

许可证

Qualcomm® AI Hub Models基于BSD-3许可证。