oneAPI 深度神经网络库 (oneDNN)

oneAPI 深度神经网络库 (oneDNN) 是一个开源的跨平台性能库，提供用于深度学习应用的基本构建块。oneDNN 项目是 UXL Foundation 的一部分，并且是 oneAPI 规范中 oneDNN 组件的实现。

该库针对 Intel(R) 架构处理器、Intel 图形和基于 Arm(R) 64 位架构 (AArch64) 的处理器进行了优化。oneDNN 对以下架构提供实验支持：NVIDIA* GPU、AMD* GPU、OpenPOWER* Power ISA (PPC64)、IBMz* (s390x) 和 RISC-V。

oneDNN 旨在为深度学习应用和框架开发者提供服务，他们希望在 CPU 和 GPU 上提升应用性能。深度学习实践者应使用已启用 oneDNN 的应用程序。

文档

开发者指南解释编程模型、支持的功能和实现细节，并包含带注释的示例。
API 参考提供库 API 的全面参考。

安装

该软件的二进制发行版可在以下平台获取：

这些包不包括库依赖项，需要在构建应用程序时解决这些依赖项。有关 CPU 和 GPU 运行时的更多详细信息，请参阅下面的系统要求部分和开发者指南中的构建选项部分。

如果需要的配置不可用，可以从源码构建库。

系统要求

oneDNN 支持基于以下架构的平台：

警告

Power ISA (PPC64)、IBMz (s390x) 和 RISC-V (RV64) 的支持是 实验性的，测试验证有限。

该库针对以下 CPU 进行了优化：

Intel 64 / AMD64 架构
- Intel Atom(R) 处理器（至少需要支持 Intel SSE4.1）
- Intel Core(TM) 处理器（至少需要支持 Intel SSE4.1）
- Intel Core Ultra 处理器（原名 Meteor Lake）
- Intel Xeon(R) 处理器 E3、E5 和 E7 系列（原名 Sandy Bridge、 Ivy Bridge、Haswell 和 Broadwell）
- Intel Xeon 可扩展处理器（原名 Skylake、Cascade Lake、Cooper Lake、Ice Lake、Sapphire Rapids 和 Emerald Rapids）
- Intel Xeon CPU Max 系列（原名 Sapphire Rapids HBM）
- 未来的 Intel Xeon 可扩展处理器（代号 Sierra Forest 和 Granite Rapids）
AArch64 架构
- Arm Neoverse(TM) N1 和 V1 处理器

在基于 Intel 64 或 AMD64 架构的 CPU 上，oneDNN 在运行时检测指令集架构 (ISA) 并使用即时 (JIT) 代码生成来部署为最新支持的 ISA 优化的代码。未来的 ISA 可能在库中禁用默认支持，需要使用运行时控制来启用。更多详情请参阅CPU 调度器控制。

警告

在 macOS 上，使用 oneDNN 的应用可能需要请求特别权限，如果它们使用受保护的运行时。详情请见链接指南。

该库针对以下 GPU 进行了优化：

第 11 至第 14 代 Intel 核心处理器的 Intel 图形
Intel Core Ultra 处理器的 Intel 图形（原名 Meteor Lake）
Intel Iris Xe MAX 图形（原名 DG1）
Intel Arc(TM) 图形（原名 Alchemist）
Intel 数据中心 GPU Flex 系列（原名 Arctic Sound）
Intel 数据中心 GPU Max 系列（原名 Ponte Vecchio）

从源码构建的要求

oneDNN 支持满足以下要求的系统：

支持 Intel 64 / Arm 64 / Power / IBMz 架构的操作系统
支持 C++11 标准的 C++ 编译器
CMake 2.8.12 或更高版本

构建 oneDNN 文档需要以下工具：

Doxygen 1.8.5 或更高版本
Doxyrest 2.1.2 或更高版本
Sphinx 4.0.2 或更高版本
sphinx-book-theme 0.0.41 或更高版本

CPU 和 GPU 引擎的配置可能会引入额外的构建依赖项。

CPU 引擎

oneDNN CPU 引擎用于在 Intel 架构处理器、64 位 Arm 架构 (AArch64) 处理器、 64 位 Power ISA (PPC64) 处理器、IBMz (s390x) 和兼容设备上执行基本操作。

默认情况下，CPU 引擎会被构建，但可以在构建时通过设置 DNNL_CPU_RUNTIME 为 NONE 来禁用。在这种情况下，必须启用 GPU 引擎。CPU 引擎可以配置为使用 OpenMP、TBB 或 SYCL 运行时。适用以下额外要求：

OpenMP 运行时需要支持 OpenMP 2.0 或更高标准的 C++ 编译器
TBB 运行时需要线程构建块 (TBB) 2017 或更高版本。
SYCL 运行时需要
- Intel oneAPI DPC++/C++ 编译器
- 线程构建块 (TBB)

某些实现依赖于 OpenMP 4.0 SIMD 扩展。为了在 Intel 架构处理器上获得最佳性能表现，建议使用 Intel C++ 编译器。

在基于 Arm AArch64 架构的 CPU 上，oneDNN CPU 引擎可以与 Arm 计算库 (ACL) 集成构建。ACL 是一个用于机器学习应用的开源库，提供 AArch64 优化的核心功能实现。目前，这一功能要求 ACL 单独下载和构建。详情请参阅开发者指南中的从源码构建部分。oneDNN 仅支持计算库版本 24.07 或更高版本。

GPU 引擎

oneDNN GPU 引擎支持 Intel 处理器图形和 Xe 架构图形。默认的构建配置中禁用了 GPU 引擎。当启用 GPU 引擎时适用以下额外要求：

OpenCL 运行时需要
- OpenCL* 运行时库（OpenCL 版本 1.2 或更高）
- 支持 OpenCL C 2.0 或更高版本的 OpenCL 驱动程序，支持 Intel 子群组和 USM 扩展
SYCL 运行时需要
- Intel oneAPI DPC++/C++ 编译器
- OpenCL 运行时库（OpenCL 版本 3.0 或更高）
- oneAPI Level Zero
支持 NVIDIA GPU 的 SYCL 运行时需要
- 支持 CUDA 的 oneAPI DPC++ 编译器或 oneAPI for NVIDIA GPUs
- NVIDIA CUDA* 驱动程序
- cuBLAS 10.1 或更高版本
- cuDNN 7.6 或更高版本
支持 AMD GPU 的 SYCL 运行时需要
- 支持 HIP AMD 的 oneAPI DPC++ 编译器或 oneAPI for AMD GPUs
- AMD ROCm 版本 5.3 或更高
- MIOpen 版本 2.18 或更高（如果 AMD ROCm 包含所需版本的 MIOpen，则为可选）
- rocBLAS 版本 2.45.0 或更高（如果 AMD ROCm 包含所需版本的 rocBLAS，则为可选）

警告

当内核运行时超过几秒钟时，Linux 会重置 GPU。用户可以通过禁用 hangcheck 来防止这种行为。Windows 内置的超时检测和恢复机制也会导致类似行为。用户可以通过增加TdrDelay 值来防止这种行为。

警告

NVIDIA GPU 支持是实验性的。相关信息、构建指令和实现限制请参阅 NVIDIA 后端自述文件。

警告

AMD GPU 支持是实验性的。相关信息、构建指令和实现限制请参阅 AMD 后端自述文件。

运行时依赖项

从源码构建 oneDNN 时，库的运行时依赖项和特定版本由构建环境定义。

Linux

常见依赖项：

GNU C Library (libc.so)
GNU Standard C++ Library v3 (libstdc++.so)
动态链接库 (libdl.so)
C 数学库 (libm.so)
POSIX 线程库 (libpthread.so)

运行时特定依赖项：

Runtime 配置	编译器	依赖项
`DNNL_CPU_RUNTIME=OMP`	GCC	GNU OpenMP 运行时 (`libgomp.so`)
`DNNL_CPU_RUNTIME=OMP`	Intel C/C++ 编译器	Intel OpenMP 运行时 (`libiomp5.so`)
`DNNL_CPU_RUNTIME=OMP`	Clang	Intel OpenMP 运行时 (`libiomp5.so`)
`DNNL_CPU_RUNTIME=TBB`	任何	TBB (`libtbb.so`)
`DNNL_CPU_RUNTIME=SYCL`	Intel oneAPI DPC++ 编译器	Intel oneAPI DPC++ 编译器运行时 (`libsycl.so`), TBB (`libtbb.so`), OpenCL 加载器 (`libOpenCL.so`)
`DNNL_GPU_RUNTIME=OCL`	任何	OpenCL 加载器 (`libOpenCL.so`)
`DNNL_GPU_RUNTIME=SYCL`	Intel oneAPI DPC++ 编译器	Intel oneAPI DPC++ 编译器运行时 (`libsycl.so`), OpenCL 加载器 (`libOpenCL.so`), oneAPI Level Zero 加载器 (`libze_loader.so`)

Windows

常见依赖项：

Microsoft Visual C++ Redistributable (msvcrt.dll)

运行时特定依赖项：

Runtime 配置	编译器	依赖项
`DNNL_CPU_RUNTIME=OMP`	Microsoft Visual C++ 编译器	无需额外要求
`DNNL_CPU_RUNTIME=OMP`	Intel C/C++ 编译器	Intel OpenMP 运行时 (`iomp5.dll`)
`DNNL_CPU_RUNTIME=TBB`	任何	TBB (`tbb.dll`)
`DNNL_CPU_RUNTIME=SYCL`	Intel oneAPI DPC++ 编译器	Intel oneAPI DPC++ 编译器运行时 (`sycl.dll`), TBB (`tbb.dll`), OpenCL 加载器 (`OpenCL.dll`)
`DNNL_GPU_RUNTIME=OCL`	任何	OpenCL 加载器 (`OpenCL.dll`)
`DNNL_GPU_RUNTIME=SYCL`	Intel oneAPI DPC++ 编译器	Intel oneAPI DPC++ 编译器运行时 (`sycl.dll`), OpenCL 加载器 (`OpenCL.dll`), oneAPI Level Zero 加载器 (`ze_loader.dll`)