NVIDIA Linux Open GPU with P2P support

这是一个 NVIDIA 驱动程序的分支版本,添加了对 4090 显卡的 P2P 支持。

使用 ./install.sh 即可安装。

你可能需要从 DKMS 卸载驱动程序。你的系统需要支持大 BAR 和关闭 IOMMU。

不确定所有缓存刷新是否正确,如果发现任何问题,请在此处提出问题。

注意:这不是一个 hack,这是根据规范使用 PCIe。经过清理,这可能最终被上游采纳。

它是如何工作的

通常,NVIDIA 显卡上的 P2P 使用 MAILBOXP2P。这是一个硬件接口,旨在允许 GPU 在小 BAR 时期进行内存传输。在 4090 上,它不存在或被禁用,这就是为什么 P2P 不起作用。在早期版本的驱动程序中,存在一个错误报告它确实起作用,实际上是在 PCIe 总线上发送东西。然而,由于没有邮箱硬件,这些副本不会到达正确的位置。你甚至可以通过做类似 torch.zeros(10000,10000).cuda().to("cuda:1") 的事情来崩溃系统。

在某些 3090 和所有 4090 上,NVIDIA 添加了对大 BAR 的支持。

请注意,BAR1 大小为 32G。在 H100 上,他们还添加了一种使用 BAR 而不是邮箱的 PCIe 模式,称为 BAR1P2P。那么,如果我们尝试在 4090 上启用它会发生什么?

我们通过绕过 HAL 直接调用一些 GH100 方法来实现这一点。比如 kbusEnableStaticBar1Mapping_GH100,它将整个 VRAM 映射到 BAR1 中。这大部分工作正常,但我们不得不禁用 MapAperture 函数中的该区域使用,不过应该无关紧要。

现在我们有了映射的 VRAM,但要实现 P2P 并不容易。当运行 cuda-samples 中的 ./simpleP2P 时,会出现这个错误。

失败并出现 MMU 错误。所以你深入研究发现它使用了 GMMU_APERTURE_PEER 作为映射类型。这在 4090 上似乎不受支持。所以让我们看看支持哪些类型,GMMU_APERTURE_VIDEO,GMMU_APERTURE_SYS_NONCOH 和 GMMU_APERTURE_SYS_COH。我们不关心与 CPU 的 L2 缓存保持一致性,但它必须通过 PCIe 总线传输,所以我们将 GMMU_APERTURE_PEER 重写为 GMMU_APERTURE_SYS_NONCOH。我们还不再设置会破坏页表的对等 ID。

cudaMemcpyPeer / cudaMemcpy在GPU0和GPU1之间: 24.21GB/s
正在准备主机缓冲区并进行memcpy到GPU0...
在GPU1上运行内核,从GPU0读取源数据并写入GPU1...
在GPU0上运行内核,从GPU1读取源数据并写入GPU0...
从GPU0复制数据回主机并验证结果...
验证错误 @ element 1: val = 0.000000, ref = 4.000000
验证错误 @ element 2: val = 0.000000, ref = 8.000000

进展! `./simpleP2P`似乎可以工作,但是拷贝没有发生。地址可能不正确。原来它们有一个单独的字段用于peer地址,称为`fldAddrPeer`, 我们将其改为 `fldAddrSysmem`。我们还打印出地址,注意到物理BAR地址没有被正确添加, 它们提供了一个字段 `fabricBaseAddress` for `GMMU_APERTURE_PEER`,我们重复使用它并将`BAR1`基地址放在那里。

就这样。感谢英伟达编写如此稳定的驱动程序。有了这个,tinybox绿色更加出色了。

~ the tiny corp

## 功能

正在启用GPU0和GPU1之间的对等访问... 正在分配缓冲区(GPU0、GPU1和CPU主机上各64MB)... 正在创建事件句柄... cudaMemcpyPeer / cudaMemcpy在GPU0和GPU1之间: 24.44GB/s 正在准备主机缓冲区并进行memcpy到GPU0... 在GPU1上运行内核,从GPU0读取源数据并写入GPU1... 在GPU0上运行内核,从GPU1读取源数据并写入GPU0... 从GPU0复制数据回主机并验证结果... 正在禁用对等访问... 正在关闭... 测试通过

## 性能

双向P2P=启用带宽矩阵(GB/s) D\D 0 1 2 3 4 5 0 919.39 50.11 50.15 51.22 50.59 51.22 1 50.19 921.29 50.31 51.21 50.62 51.22 2 50.23 50.55 921.83 51.22 50.39 51.22 3 50.33 50.65 51.20 920.20 50.43 51.22 4 50.18 50.68 50.26 51.22 922.30 51.23 5 50.12 50.09 50.44 51.22 51.21 921.29

## 兼容NCCL(也就是torch)

tiny@tiny14:~/build/nccl-tests/build$ ./all_reduce_perf -g 6

nThread 1 nGpus 6 minBytes 33554432 maxBytes 33554432 step: 1048576(bytes) warmup iters: 5 iters: 20 agg iters: 1 validation: 1 graph: 0

使用设备

Rank 0 Group 0 Pid 26230 on tiny14 device 0 [0x01] NVIDIA GeForce RTX 4090

Rank 1 Group 0 Pid 26230 on tiny14 device 1 [0x42] NVIDIA GeForce RTX 4090

Rank 2 Group 0 Pid 26230 on tiny14 device 2 [0x81] NVIDIA GeForce RTX 4090

Rank 3 Group 0 Pid 26230 on tiny14 device 3 [0x82] NVIDIA GeForce RTX 4090

Rank 4 Group 0 Pid 26230 on tiny14 device 4 [0xc1] NVIDIA GeForce RTX 4090

Rank 5 Group 0 Pid 26230 on tiny14 device 5 [0xc2] NVIDIA GeForce RTX 4090

out-of-place in-place

size count type redop root time algbw busbw #wrong time algbw busbw #wrong

(B) (elements) (us) (GB/s) (GB/s) (us) (GB/s) (GB/s)

33554432       8388608     float     sum      -1   2275.1   14.75   24.58      0   2282.5   14.70   24.50      0

超出范围的值: 0 OK

平均总线带宽: 24.5413