DeepStream Python应用：NVIDIA AI物联网平台的Python绑定和示例应用

DeepStream Python应用概述

NVIDIA DeepStream SDK是一个强大的视频分析平台,可用于构建AI驱动的智能视频分析(IVA)应用程序。为了让更多开发者能够方便地使用DeepStream,NVIDIA推出了DeepStream Python应用项目,提供Python绑定和丰富的示例应用。

本文将全面介绍DeepStream Python应用的主要特性、设置方法、使用指南以及各种示例应用,帮助开发者快速上手DeepStream的Python开发。

主要特性

提供DeepStream SDK的Python绑定,支持使用Python构建DeepStream管道
包含多个示例应用,涵盖目标检测、跟踪、分类等常见IVA场景
支持访问DeepStream元数据,进行自定义分析和处理
兼容最新的DeepStream 7.0版本
支持Ubuntu 22.04和Python 3.10环境

环境要求

Ubuntu 22.04
DeepStream SDK 7.0
Python 3.10
GStreamer Python绑定 1.20.3

需要注意的是,目前仅支持Ubuntu 22.04环境,对Ubuntu 20.04的支持已被弃用。

设置与安装

要开始使用DeepStream Python应用,需要先完成以下设置步骤:

安装DeepStream SDK 7.0及其依赖项
进入DeepStream安装目录的sources文件夹:
```
cd /opt/nvidia/deepstream/deepstream/sources/
```

克隆deepstream_python_apps仓库:

git clone https://github.com/NVIDIA-AI-IOT/deepstream_python_apps

安装Python绑定,有两种方式:
- 从release页面下载预编译的绑定
- 按照绑定README中的说明从源代码构建

完成上述步骤后,就可以开始使用DeepStream Python应用了。

Python绑定使用

DeepStream Python绑定让开发者能够使用Python语言构建DeepStream管道并访问元数据。主要包括以下功能:

使用GStreamer的Python绑定构建DeepStream管道
访问DeepStream元数据结构和函数的Python接口
提供HOW-TO指南详细说明接口使用方法
在示例应用中展示了绑定的实际应用

Python应用管道示意图

需要注意的是,alloc_nvds_event_msg_meta()函数的绑定发生了破坏性API变更,现在需要传入关联的NvDsUserMeta指针。具体可参考deepstream-test4示例和bindschema.cpp。

示例应用

DeepStream Python应用项目提供了丰富的示例应用,涵盖了多种IVA场景。这些示例可以帮助开发者快速理解如何使用Python构建DeepStream应用。

示例应用截图

主要示例应用包括:

deepstream-test1: 4类目标检测管道,展示了新nvstreammux的用法
deepstream-test2: 4类目标检测、跟踪和属性分类管道
deepstream-test3: 多流管道执行4类目标检测,支持Triton推理服务器、无显示模式等
deepstream-test4: 使用msgbroker将分析结果发送到云端
deepstream-imagedata-multistream: 多流管道访问图像缓冲区
deepstream-ssd-parser: 通过Triton服务器进行SSD模型推理,在Python中解析输出
deepstream-test1-usbcam: 使用USB相机输入的deepstream-test1管道
deepstream-test1-rtsp-out: 带RTSP输出的deepstream-test1管道
deepstream-opticalflow: 光流和可视化管道,以NumPy数组形式返回光流向量
deepstream-segmentation: 分割和可视化管道,以NumPy数组形式返回分割掩码
deepstream-nvdsanalytics: 使用分析插件的多流管道
runtime_source_add_delete: 运行时添加/删除源流
deepstream-imagedata-multistream-redaction: 带人脸检测和遮蔽的多流管道
deepstream-rtsp-in-rtsp-out: 带RTSP输入/输出的多流管道
deepstream-preprocess-test: 使用nvdspreprocess插件的多流管道
deepstream-demux-multi-in-multi-out: 使用nvstreamdemux插件生成单独缓冲区输出的多流管道
deepstream-imagedata-multistream-cupy: 以CuPy数组形式从GPU访问多流源的图像数据缓冲区(仅x86)
deepstream-segmask: 访问和解释NvOSD_MaskParams中的分割掩码信息
deepstream-custom-binding-test: 演示如何使用NvDsUserMeta附加自定义数据结构

每个示例应用的详细信息可以在apps目录下的相应子目录中找到。

总结

DeepStream Python应用为开发者提供了便捷的方式来使用Python构建强大的AI视频分析应用。通过Python绑定和丰富的示例,开发者可以快速上手DeepStream开发,充分发挥NVIDIA GPU的强大算力,实现高性能的视频分析。无论是构建简单的目标检测应用,还是复杂的多流分析系统,DeepStream Python应用都能提供有力支持。

希望本文对您了解和使用DeepStream Python应用有所帮助。如果在使用过程中遇到任何问题,欢迎在DeepStream SDK论坛上寻求帮助。让我们一起探索AI视频分析的无限可能吧!