CUDA GEMM 优化

简介

本仓库包含通用矩阵-矩阵乘法（GEMM）的 CUDA 核心及相应的性能分析。CUDA 核心的正确性对任何矩阵大小都有保证。CUDA 核心的参数针对 NVIDIA GeForce RTX 3090 GPU 上的 4096 x 4096 x 4096 GEMM 做了微调。这些 CUDA 核心应该与任何计算能力 7.0 或更高的 NVIDIA GPU 兼容。

使用方法

使用 Docker 来构建和运行 CUDA 核心。自定义 Docker 容器基于 NVIDIA NGC CUDA 12.2.2 Docker 容器构建。

如果主机有不同的 CUDA 版本，请调整基础 Docker 容器的 CUDA 版本。否则可能会出现奇怪的编译错误和运行时错误。

构建 Docker 镜像

要构建自定义 Docker 镜像，请运行以下命令：

$ docker build -f docker/gemm-cuda.Dockerfile --no-cache --tag=gemm-cuda:12.2.2 .

运行 Docker 容器

要运行自定义 Docker 容器，请运行以下命令：

$ docker run -it --rm --gpus device=0 -v $(pwd):/mnt gemm-cuda:12.2.2

如果我们想使用 NVIDIA Nsight Compute 对 CUDA 核心进行分析，在运行 Docker 容器时需要添加额外的标志 --cap-add=SYS_ADMIN 和 --security-opt seccomp=unconfined。

构建 CUDA 核心

要构建 CUDA 核心，请在 Docker 容器内运行以下命令：

$ cmake -B build
$ cmake --build build --config Release --parallel
$ cmake --install build

运行 CUDA 核心

要运行 FP32 和 FP16 GEMM CUDA 核心，请在 Docker 容器内运行以下命令：

$ ./build/src/profile_cuda_gemm_fp32
$ ./build/src/profile_cuda_gemm_fp16

性能

所有实验都在单个 NVIDIA GeForce RTX 3090 GPU 上进行。性能可能会有所波动，有时一次测量到另一次测量的差异可达 25%。

FP32 GEMM

所有 FP32 GEMM 核心都无法利用 NVIDIA Tensor Cores。

FP16 GEMM

FP16 自定义 GEMM 核心 V00 到 V06 不使用 NVIDIA Tensor Cores。FP16 cuBLAS GEMM 核心和自定义 GEMM 核心 V07 使用 NVIDIA Tensor Cores。

参考资料

• CUDA 矩阵乘法优化