ppl.cv

ppl.cv 是什么

ppl.cv 源于商汤科技不同团队的图像处理需求,提供了一套常用图像算法的高性能实现,用于各种深度学习应用的流程中。

这是一个轻量级、可定制的图像处理框架。针对OpenCV等框架实现体积庞大、依赖复杂的问题,我们希望提供一个灵活的框架,在开发和部署深度学习工具包时只需包含必要的算法,以满足各种图像处理应用。通过 ppl.cv,开发人员可以轻松地添加新平台以支持新硬件,和/或添加新的图像处理算法实现以支持新应用。用户可以为指定平台和算法选择图像处理实现,生成小巧紧凑的图像处理库用于部署。

这是一个面向深度学习的高性能图像处理库。我们已经在这个框架中填充了多个支持平台和大量精心挑选的函数,以满足深度学习流程中的图像处理需求。由于基于视觉的深度学习需要处理海量图像,每个函数都经过了针对硬件的优化以获得良好的加速效果。为了便于使用 ppl.cv,除了实现之外,每个函数还提供了简要的调用示例、用于检查与OpenCV对应函数一致性的单元测试,以及用于与OpenCV对应函数比较性能的基准测试。

我们的目标

ppl.cv 中的函数与 OpenCV 保持一致。 在计算机视觉行业中,OpenCV 是最流行的库,多年来被全球专业人士广泛使用,其实现严格遵循算法的精确数学原理,我们对此表示敬意。为了降低学习成本,ppl.cv 中的每个函数在功能和接口方面都与 OpenCV 中的对应函数保持一致。与 OpenCV 中使用抽象数据类型表示图像不同,我们采用了几个低级 C 数据类型的组合来描述 2D 像素数组,包括数据指针、高度、宽度和行步长,以便于在不同硬件及其对应编程语言之间兼容。为了获得良好的精度,我们倾向于实现算法中的数学原理,并尽可能在 ppl.cv 中实现。考虑到平台在浮点计算方面的硬件和软件差异,ppl.cv 中绝大多数函数的输出与严格遵守数学原理或通过整数量化近似的 OpenCV CPU 函数输出保持一致。

ppl.cv 中的函数是自包含的。 鉴于深度学习对图像处理的巨大需求以及移植 OpenCV 函数用于应用部署的复杂性,ppl.cv 旨在为每个函数提供自包含的实现和可裁剪的图像处理库。每个函数都有自己的声明、文档、实现以及独立或有限共享的单元测试和基准测试。我们通过消除函数之间的依赖关系并为每个平台维护最小的通用基础设施来减少对其他定义的依赖。开发人员和用户可以根据自己的意愿添加或删除平台/函数,因此 ppl.cv 对开发和部署都很友好。

ppl.cv 中的函数追求极致性能。 通过理论分析和实验测试,我们发现大多数函数的计算受内存限制,而少数函数受计算限制。针对每个特定的硬件平台,我们在内存访问和计算方面都进行了深度优化。对于内存访问,通过采用满足需求的较小数据结构、减少内存分配和释放、地址对齐、缓存友好的内存访问、向量加载和存储等方式提高性能。对于计算,使用指令并行、定点量化、压缩操作以及在保持精度的同时用单精度浮点运算替代双精度浮点运算。与 OpenCV 相比,ppl.cv 中的每个函数都实现了更好的加速。

ppl.cv 与 ppl.nn 协同工作。 作为深度学习应用流程中的一步,ppl.cv 在图像接口方面与 ppl.nn 达成一致,它们可以有效地协同工作。

支持的平台

目前,ppl.cv 支持主流桌面和移动 CPU/GPU 的多个流行平台,包括 x86、CUDA、aarch64、RISC-V 和 OpenCL。

支持的算法

目前,ppl.cv 涵盖的图像处理算法包括算术运算、色彩空间转换、直方图、滤波、形态学操作、图像金字塔采样、图像缩放和变换等。未来,我们准备添加一些与图像解码和视觉同时定位与地图构建 (VSLAM) 相关的新算法。

如何快速构建

本项目使用 cmake 脚本配置。我们提供了一个简单的构建脚本。

Linux

$ git clone https://github.com/openppl-public/ppl.cv.git
$ cd ppl.cv
$ ./build.sh x86_64                         # 用于 linux-x86_64
$ ./build.sh aarch64                        # 用于 linux-aarch64
$ ./build.sh cuda                           # 用于 linux-x86_64_cuda
$ ./build.sh riscv                          # 用于 linux-riscv

Windows

以 VS2015 为例:

build.bat -G "Visual Studio 14 2015 Win64" -DPPLCV_USE_X86_64=ON

更多详细信息请参阅以下指南。

文档

由于平台在硬件和编程语言方面的差异,文档按平台分类。文档涵盖的方面包括先决条件、代码构建、单元测试、基准测试、添加函数、库定制等。请在以下列表中选择适合您开发或使用的文档。

• X86
  • X86 平台指南
• CUDA
  • CUDA 平台指南
  • CUDA 内存池
  • 基准测试
• Arm
  • Aarch64 平台指南
• RISCV
  • RISCV 平台指南
  • 基准测试
• OpenCL
  • OpenCL 平台指南
  • 基准测试

文档生成

ppl.cv 使用 doxygen 生成 HTML 格式的 API 文档和示例:

doxygen docs/Doxyfile

然后在网络浏览器中打开 html/index.html。

联系我们

欢迎通过 GitHub Issues 提出问题、报告和建议!

微信公众号	QQ 群
OpenPPL	627853444

贡献

ppl.cv 是一个开源项目,我们非常感谢任何贡献。请毫不犹豫地提交 GitHub issue 报告错误。如果您想贡献新功能,请按以下步骤操作:

• 创建一个 GitHub issue,让我们讨论您想贡献什么。
• 查看您所需平台文档中的"如何添加函数"部分。
• 为您的代码提交拉取请求。

致谢

• OpenCV

许可证

本项目采用 Apache License, Version 2.0 分发。