ppl.cv: 高性能跨平台图像处理库

ppl.cv简介

ppl.cv是OpenPPL开发的一个高性能图像处理库,旨在为深度学习应用提供轻量级、可定制的图像处理框架。它源于商汤科技不同团队的图像处理需求,提供了一系列常用图像算法的高性能实现,这些算法广泛应用于各种深度学习应用的流程中。

与OpenCV等大型复杂的框架不同,ppl.cv提供了一个灵活的框架,可以满足深度学习应用开发和部署时只需要特定算法的需求。开发者可以轻松地为新的硬件平台添加支持,或为新的图像处理算法添加实现。用户可以根据特定的平台和算法需求,选择相应的图像处理实现,从而生成一个小巧紧凑的图像处理库用于部署。

作为一个专为深度学习设计的高性能图像处理库,ppl.cv已经集成了多个支持平台和大量精心挑选的函数,以满足深度学习流程中的图像处理需求。考虑到基于视觉的深度学习涉及大量图像处理,ppl.cv的每个函数都针对硬件进行了优化,以获得显著的性能提升。

ppl.cv的目标

与OpenCV对齐

ppl.cv中的函数在功能和接口上与OpenCV保持一致,以降低学习成本。与OpenCV使用抽象数据类型表示图像不同,ppl.cv采用了几个低级C数据类型的组合来描述2D像素数组,包括数据指针、高度、宽度和行步长,以便于在不同硬件和相应的编程语言之间实现兼容。

为了获得良好的精度,ppl.cv尽可能地实现了算法中的数学原理。考虑到不同平台在浮点计算方面的硬件和软件差异,ppl.cv中绝大多数函数的输出与OpenCV中严格遵循数学原理或通过整数量化近似的CPU函数保持一致。

自包含的函数

考虑到深度学习对图像处理的巨大需求以及移植OpenCV函数用于应用部署的复杂性,ppl.cv旨在为每个函数提供自包含的实现和可定制的图像处理库。每个函数都有自己的声明、文档、实现以及独立或有限共享的单元测试和基准测试。

ppl.cv通过消除函数之间的依赖关系来解耦函数,并通过为每个平台维护最小的公共基础设施来减少对其他定义的依赖。开发者和用户可以根据自己的意愿添加或删除平台/功能,这使得ppl.cv在开发和部署方面都非常友好。

追求极致性能

通过理论分析和实验测试,ppl.cv团队发现大多数函数的计算是内存受限的,而少数是计算受限的。针对每个特定的硬件平台,ppl.cv在内存访问和计算方面都进行了深度优化。

在内存访问方面,ppl.cv通过采用满足需求的更小的数据结构、减少内存分配和释放、地址对齐、缓存友好的内存访问、向量加载和存储等方式来提高性能。在计算方面,ppl.cv使用指令并行、定点量化、压缩操作,以及在保持精度的同时用浮点运算替换双精度运算等技术。与OpenCV相比,ppl.cv中的每个函数都实现了更好的加速效果。

支持的平台

目前,ppl.cv支持多个流行的桌面和移动CPU/GPU平台,包括:

• x86
• CUDA
• aarch64
• RISC-V
• OpenCL

这些平台涵盖了主流的计算架构,使得ppl.cv能够在各种硬件环境中发挥高性能。

支持的算法

ppl.cv目前涵盖的图像处理算法包括:

• 算术运算
• 颜色空间转换
• 直方图
• 滤波
• 形态学操作
• 图像金字塔采样
• 图像缩放和变换

未来,ppl.cv团队计划添加一些与图像解码和VSLAM(视觉同时定位与地图构建)相关的新算法,进一步扩展其功能范围。

快速构建指南

ppl.cv项目使用cmake脚本进行配置,并提供了简单的构建脚本。以下是在不同平台上快速构建ppl.cv的步骤:

Linux平台

$ git clone https://github.com/openppl-public/ppl.cv.git
$ cd ppl.cv
$ ./build.sh x86_64      # 用于linux-x86_64
$ ./build.sh aarch64     # 用于linux-aarch64
$ ./build.sh cuda        # 用于linux-x86_64_cuda
$ ./build.sh riscv       # 用于linux-riscv

Windows平台

以VS2015为例:

build.bat -G "Visual Studio 14 2015 Win64" -DPPLCV_USE_X86_64=ON

更详细的构建指南请参考相应平台的文档。

文档

由于不同平台的硬件和编程语言存在差异,ppl.cv的文档按平台进行分类。文档涵盖了先决条件、代码构建、单元测试、基准测试、添加函数、库定制等方面。以下是各平台文档的链接:

• X86
  • X86平台指南
• CUDA
  • CUDA平台指南
  • CUDA内存池
  • 基准测试
• ARM
  • Aarch64平台指南
• RISC-V
  • RISC-V平台指南
  • 基准测试
• OpenCL
  • OpenCL平台指南
  • 基准测试

API文档

ppl.cv使用doxygen生成HTML格式的API文档和示例。生成文档后,可以在Web浏览器中打开html/index.html查看详细的API说明。

联系方式

欢迎通过GitHub Issues提出问题、报告和建议!您也可以通过以下方式与ppl.cv团队取得联系:

• 微信公众号: OpenPPL
• QQ群: 627853444

贡献指南

ppl.cv是一个开源项目,非常欢迎各种形式的贡献。如果您想贡献新功能,请遵循以下步骤:

1. 打开一个GitHub issue,讨论您想贡献的内容。
2. 查看您所选平台文档中的"如何添加函数"部分。
3. 为您的代码提交pull request。

致谢

ppl.cv项目得到了OpenCV的启发和支持,在此表示感谢。

开源许可

ppl.cv项目采用Apache License 2.0开源许可证。

通过使用ppl.cv,开发者可以利用其高性能、跨平台的图像处理功能,为深度学习应用提供强大的支持。无论是在桌面环境还是移动设备上,ppl.cv都能为各种计算平台提供优化的图像处理解决方案。🚀💻📱