rknn-cpp-Multithreading: 在RK3588上实现高性能YOLOv5推理

rknn-cpp-Multithreading: 在RK3588上实现高性能YOLOv5推理

随着边缘计算和人工智能的快速发展,如何在嵌入式设备上高效运行深度学习模型成为一个重要课题。近日,GitHub 上的 rknn-cpp-Multithreading 项目为我们展示了一种在 RK3588/RK3588s 芯片上运行 YOLOv5s 模型的高效方案。该项目通过多线程优化,成功将 YOLOv5s 的推理速度提升至约 142 FPS,展现了令人印象深刻的性能。让我们一起来深入了解这个项目的特点和实现细节。

项目概述

rknn-cpp-Multithreading 是一个基于 C++ 实现的 YOLOv5s 推理框架,专门针对搭载 RK3588/RK3588s 芯片的设备进行了优化。该项目的主要特点包括:

1. 使用 C++ 实现,相比 Python 版本具有更高的执行效率
2. 采用线程池技术,通过异步操作 RKNN 模型提高 NPU 利用率
3. 使用 ReLU 激活函数对 YOLOv5s 模型进行优化,进一步提升推理速度

技术实现

项目的核心技术实现包括以下几个方面:

1. 多线程优化: 项目使用了 dpool 线程池库来实现异步操作 RKNN 模型。这种方式可以充分利用 RK3588/RK3588s 的多核 NPU,显著提高推理吞吐量。

2. 模型优化: 项目采用了 ReLU 版本的 YOLOv5s 模型,相比原始使用 SiLU 激活函数的版本,ReLU 版本在 RK3588 上有更好的性能表现。

3. RKNN SDK 集成: 项目基于 Rockchip 官方的 RKNPU2 SDK 进行开发,充分利用了 RK3588 的硬件加速能力。

4. 性能调优: 项目提供了 performance.sh 脚本,可以对 CPU 和 NPU 进行频率锁定,以获得稳定且最佳的性能表现。

使用方法

要使用 rknn-cpp-Multithreading 项目,需要按照以下步骤操作:

1. 确保系统已安装 OpenCV 库
2. 下载项目提供的测试视频,放置于项目根目录
3. 运行 build-linux_RK3588.sh 脚本进行编译
4. 可选步骤:切换到 root 用户并运行 performance.sh 脚本进行性能优化
5. 编译完成后,进入 install 目录,运行以下命令:

./rknn_yolov5_demo <模型路径> <视频路径/摄像头序号>

性能测试结果

项目作者进行了详细的性能测试,以下是在不同线程数下 YOLOv5s-ReLU 模型的推理速度(FPS):

从测试结果可以看出,随着线程数的增加,推理速度呈现显著上升趋势。在使用 12 个线程时,系统达到了惊人的 140.9 FPS,充分展现了 RK3588 强大的并行计算能力。

项目展望

尽管 rknn-cpp-Multithreading 项目已经展现了卓越的性能,但作者表示该项目仍有进一步优化的空间:

1. 异常处理完善: 目前项目的异常处理机制还不够健全,未来将加强这方面的开发。
2. 扩展设备支持: 现阶段项目仅支持 RK3588/RK3588s 平台,未来可能会考虑扩展到其他 Rockchip 芯片。
3. 多模型支持: 目前项目主要针对 YOLOv5s 进行了优化,未来可能会加入对其他常用目标检测模型的支持。

总结

rknn-cpp-Multithreading 项目为我们展示了如何在嵌入式设备上实现高性能的深度学习推理。通过多线程优化、模型改进和硬件加速,该项目成功将 YOLOv5s 的推理速度提升至接近实时处理的水平。这不仅为类似项目的开发提供了宝贵的参考,也为边缘 AI 应用的落地提供了新的可能性。

无论您是嵌入式开发者、AI 工程师还是对边缘计算感兴趣的爱好者,rknn-cpp-Multithreading 项目都值得深入研究和借鉴。我们期待看到更多基于这一框架的创新应用,推动边缘 AI 技术的进一步发展。

参考链接

• rknn-cpp-Multithreading GitHub 仓库
• RKNPU2 官方仓库
• dpool 线程池库
• YOLOv5 官方仓库
• RKNN Model Zoo

通过本文的介绍,相信读者已经对 rknn-cpp-Multithreading 项目有了全面的了解。该项目不仅展示了优秀的技术实现,也为嵌入式 AI 应用的开发提供了有价值的参考。我们期待看到更多开发者能够从中获得启发,推动边缘 AI 技术的进步与创新。