VideoPipe

VideoPipe：高效灵活的视频分析框架

VideoPipe 是一个用 C++ 编写的视频分析和结构化框架。它具有轻量级依赖和易用性的特点，采用管道式设计，每个节点都是独立的，可以灵活组合。这个框架适用于多种视频分析应用场景，如视频结构化、图像搜索、人脸识别，以及交通和安防领域的行为分析（如交通事件检测）等。

框架优势

与 NVIDIA 的 DeepStream 和华为的 mxVision 等类似框架相比，VideoPipe 更易于使用且更具可移植性：

• 开源：完全开放源代码
• 学习曲线低：易于上手和使用
• 广泛兼容：可在多种平台上运行
• 性能适中：在性能和易用性间取得平衡
• 依赖少：最小化第三方依赖

VideoPipe 采用插件式编码风格，可根据不同需求灵活配置。用户只需准备模型并了解如何解析其输出，就可以使用独立插件（在框架中称为 "Node" 类型）构建各种视频分析应用。推理可以使用不同的后端实现，如 OpenCV::DNN（默认）、TensorRT、PaddleInference、ONNXRuntime 等。

主要功能

VideoPipe 作为一个简化计算机视觉算法模型集成的框架，提供以下主要功能：

1. 流读取：支持 UDP、RTSP、RTMP 等主流视频流协议，以及文件和应用程序输入。
2. 视频解码：基于 OpenCV/GStreamer 的视频和图像解码（支持硬件加速）。
3. 算法推理：支持多层次深度学习算法推理，如目标检测、图像分类、特征提取和图像生成，也支持传统图像算法集成。
4. 目标跟踪：支持 IOU 和 SORT 等跟踪算法。
5. 行为分析：基于跟踪的行为分析，如交通行为检测（越线、停车、违规等）。
6. 业务逻辑：允许集成任何自定义业务逻辑。
7. 数据代理：支持通过 Kafka 或 Socket 等方式将结构化数据（JSON、XML 或自定义格式）推送到云端、文件或其他第三方平台。
8. 录制：支持特定时间段的视频录制和特定帧的截图，可保存为文件。
9. 屏幕显示（OSD）：支持将结构化数据和业务逻辑处理结果叠加到帧上。
10. 视频编码：基于 OpenCV/GStreamer 的视频和图像编码（支持硬件加速）。
11. 流推送：支持 UDP、RTSP、RTMP 等主流视频流协议，以及文件和应用程序输出。

快速上手

VideoPipe 支持多种平台，包括 Ubuntu 18.04 的 x86_64 和 aarch64 架构，兼容 NVIDIA GPU、寒武纪 MLU 设备和瑞芯微 RK35** 系列设备。

基本依赖包括 C++ 17、OpenCV 4.6+、GStreamer 1.14.5 和 GCC 7.5+。根据需要，可以选择性地集成 CUDA、TensorRT、Paddle Inference、ONNX Runtime 等推理后端。

编译和调试过程简单，只需几个命令即可完成。用户可以根据需要添加编译选项，如启用 CUDA、TensorRT 等模块。

使用方法

使用 VideoPipe 构建视频分析应用非常简单。以下是一个示例代码，展示了如何构建一个包含人脸检测和识别的管道：

1. 创建视频源节点
2. 添加模型推理节点（人脸检测和识别）
3. 添加 OSD 节点用于绘制结果
4. 添加屏幕显示和 RTMP 推流节点
5. 连接各个节点形成完整管道
6. 启动管道并可视化显示

这个简单的示例展示了 VideoPipe 的灵活性和易用性，用户可以根据自己的需求轻松构建各种复杂的视频分析应用。

丰富的示例

VideoPipe 提供了超过 40 个原型示例，涵盖了人脸跟踪、车辆跟踪、实例分割、姿态估计、人脸交换等多种应用场景。这些示例为用户提供了丰富的参考，有助于快速上手和开发自定义应用。

总之，VideoPipe 是一个功能强大、易于使用的视频分析框架，适合各种复杂的视频处理和分析任务。无论是研究人员还是开发者，都可以利用 VideoPipe 快速构建高效的视频分析应用。