简介

本仓库提供了一个基于硬件的GPUDirect RDMA最小演示。该功能允许PCIe设备直接访问CUDA内存,从而实现CUDA与PCIe设备之间的零拷贝数据共享。

代码支持:

• 运行Linux for Tegra (L4T)的NVIDIA Jetson AGX Xavier (Jetson)。
• 运行嵌入式Linux的NVIDIA Drive AGX Xavier。
• 安装了NVIDIA CUDA驱动程序并包含Quadro或Tesla GPU的PC。

下图展示了本仓库中软件创建的系统配置以及组件间的数据流:

PCIe设备

获取硬件

本项目使用FPGA作为访问CUDA内存的PCIe设备。支持以下FPGA板:

• RHS Research PicoEVB。
• HiTech Global HTG-K800。

以下部分详细说明如何获取和编程每块板。

RHS Research PicoEVB

FPGA板

PicoEVB是一款M.2规格的FPGA板,通过主机的PCIe总线进行应用数据传输,并通过M.2连接器的USB总线进行编程。可从以下渠道获得:

• picoevb.com。
• 亚马逊;搜索ASIN "B0779PC8S4"或"PicoEVB"。

PCIe适配板

PicoEVB板是双面M.2设备。Jetson物理上只支持全尺寸PCIe连接器或单面M.2设备。PC通常只支持全尺寸PCIe连接器的板。需要某种形式的适配器以机械可靠的方式连接两者。

可以使用PCIe x16/x8/x4/x2/x1到M.2 key E适配器将PicoEVB板插入Jetson或PC的全尺寸PCIe插槽。亚马逊上可能有一款这样的适配板,ASIN为B013U4401W,产品名称为"Sourcingbay M.2(NGFF) Wireless Card to PCI-e 1X Adapter"。

以下一对适配器可用于将PicoEVB板连接到Jetson的M.2 key E连接器:

• M.2 2230 key E到Mini-PCIe适配器(带电缆)。亚马逊上可能有,ASIN为B07JFYSNVL,产品名称为"M.2 (NGFF) Key A/E/A+E to Mini PCI-E Adapter with FFC Cable"。或者,亚马逊上可能有,ASIN为B00JSBPF70,产品名称为"Bplus: P15S-P15F, M.2 (NGFF) to mPCIe Extender Board"。
• Mini-PCIe到M.2 2230适配板。亚马逊上可能有,ASIN为B07D4FCD1K,产品名称为"HLT M.2 (NGFF) to mPCIe (PCIe+USB) Adapter"。

以下适配器可用于将PicoEVB板连接到Drive AGX Xavier的M.2 key M连接器:

• M.2 KEY-M接口到M.2 KEY A-E或KEY E接口适配器。AliExpress上可能有,产品名称为"M.2 Wifi Adapter M.2 M Key to A+E Key Slot Wifi Bluetooth Network Card NGFF NVMe PCI express SSD Port to E key Slot Wifi Adapter"。

可用的适配器和供应商随时间变化很大。可能需要在亚马逊或其他网站上搜索合适的适配器。

HiTech Global HTG-K800

FPGA板

HTG-K800是全尺寸x16 PCIe卡。它可以直接插入Jetson或台式PC的全尺寸PCIe连接器。更多信息,请参见: http://www.hitechglobal.com/Boards/Kintex-UltraScale.htm

本项目支持XCKU-60 FPGA,但通过更改FPGA项目属性并重新综合提供的Vivado项目,很容易更改。

JTAG编程器

您需要一个Xilinx Platform Cable USB II来编程FPGA。更多信息,请参见: https://www.xilinx.com/products/boards-and-kits/hw-usb-ii-g.html

获取FPGA编程软件

Xilinx Vivado Design Suite

此软件必须在x86 Linux PC上运行。

Xilinx Vivado用于编译FPGA比特流,并将比特流编程到FPGA中。免费的"WebPACK版"就足够了。 从Xilinx网站获取此软件。

PicoEVB项目需要Vivado 2018.3。

HTG-K800项目需要Vivado 2018.1。

较新版本的Vivado应该能够导入这些项目。

xvcd

此软件仅适用于PicoEVB板;HTG-K800板不需要。

此软件必须在插入PicoEVB FPGA卡的系统上运行。这可能是x86 Linux PC,也可能是Jetson系统。

请注意,Drive AGX Xavier的M.2插槽不支持USB。因此,无法在连接到此连接器时对FPGA进行编程。可以在Linux PC或Jetson系统上对PicoEVB板进行编程,然后在编程完成后连接到Drive AGX Xavier。

Vivado依赖一个名为xvcd(Xilinx Virtual Cable Daemon)的软件与PicoEVB板通信以进行编程。从github.com获取。执行以下命令下载并编译软件:

sudo apt update
sudo apt install build-essential libftdi-dev
git clone https://github.com/RHSResearchLLC/xvcd.git
cd xvcd/
cd linux/src
make

生成比特流

在以下文本中,fpga-*/指的是FPGA项目子目录。对于PicoEVB,是fpga-picoevb/,对于HTG-K800,是fpga-htg-k800/。

本项目提供了预编译的比特流;fpga-*/*.mcs.bz2。无需重新生成比特流。但是,如果您希望这样做,请按照以下步骤操作:

1. 打开shell提示符,并cd到本项目中的fpga-*/目录。
2. 执行./git-to-project.sh以生成Vivado项目文件。如果vivado可执行文件不在您的$PATH中或预期的安装位置,您可能需要调整此脚本中的vivado变量。
3. 执行./synthesize-fpga.sh以综合和实现FPGA。这将生成FPGA比特流。或者,您可以通过使用Vivado GUI打开fpga-*/vivado-project/vivado-project.xpr并请求它执行比特流生成来执行此步骤。无论哪种方式,此过程将需要5-60分钟,具体取决于PC的速度以及您正在构建的FPGA项目。
4. 执行./generate-cfgmem.sh以生成配置存储器映像。

如果您对Vivado项目或其包含或使用的任何文件或IP块进行了修改,并希望将这些更改提交到源代码管理中,请执行./project-to-git.sh以重新生成已检入的文件git-to-project.tcl和git-to-ips.tcl。

编程FPGA

RHS Research PicoEVB

编程FPGA需要在x86 Linux PC上安装Vivado,并在包含PicoEVB板的系统上运行xvcd。

如果您在Jetson上运行xvcd,您必须允许从x86 Linux PC上的Vivado到Jetson上运行的xvcd的网络连接。最简单的方法是使用ssh的端口转发功能;在x86 Linux PC上执行:

ssh -L 2542:127.0.0.1:2542 ip_address_of_jetson

要运行xvcd,在包含FPGA卡的系统上执行:

sudo ./xvcd -P 0x6015

在您的x86 Linux PC上,打开shell提示符,cd到本项目中的fpga-*/目录,并执行:

program-fpga.sh

将Vivado的编程工具连接到FPGA的过程可能不太可靠。如果连接尝试失败,脚本退出而未编程FPGA,您需要再次执行该命令。

编程过程将需要20到40分钟。编程过程在大部分操作期间不会生成任何输出,因此可能看起来已经挂起,但实际上正在运行。

HiTech Global HTG-K800

编程FPGA需要在连接了Xilinx平台电缆的x86 Linux PC上安装Vivado。

在您的x86 Linux PC上,打开shell提示符,cd到本项目中的fpga-*/目录,并执行:

program-fpga.sh

编程过程将需要几分钟。编程过程在大部分操作期间不会生成任何输出,因此可能看起来已经挂起,但实际上正在运行。

Linux内核驱动程序

注意:

对于内核5.9+版本,请使用rel-36+分支。

在Jetson/Drive AGX Xavier上构建,在Jetson/Drive AGX Xavier上运行

要构建Linux内核驱动程序,请执行:

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
./build-for-jetson-drive-igpu-native.sh

这将生成picoevb-rdma.ko。

在x86 Linux PC上构建,在Jetson/Drive AGX Xavier上运行

Linux内核驱动程序也可以在x86 Linux PC上构建(交叉编译)。首先,您需要从L4T获取"Linux头文件"或"内核外部模块构建树"文件的副本;这些可以在Jetson/Drive AGX Xavier的/usr/src/中找到,或从L4T/Drive下载网站获取。

要在x86 Linux PC上构建Linux内核驱动程序,请执行:

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
# 调整KDIR值以匹配内核头文件副本中的确切路径
KDIR=/path/to/linux-headers-4.9.140-tegra-linux_x86_64/kernel-4.9/ ./build-for-jetson-drive-igpu-on-pc.sh

这将生成picoevb-rdma.ko。必须将此文件复制到Jetson/Drive AGX Xavier。

在x86 Linux PC上构建,在该PC上运行

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/kernel-module/
./build-for-pc-native.sh

这将生成 picoevb-rdma.ko。

加载模块

要加载内核模块，请执行：

sudo insmod ./picoevb-rdma.ko

模块加载后，执行 lspci -v 应该显示该模块正被用作 FPGA 板的内核驱动：

$ lspci -v
...
0003:01:00.0 Memory controller: NVIDIA Corporation Device 0001
	Subsystem: NVIDIA Corporation Device 0001
	Flags: bus master, fast devsel, latency 0, IRQ 36
	Memory at 34210000 (32-bit, non-prefetchable) [size=4K]
	Memory at 34200000 (32-bit, non-prefetchable) [size=64K]
	Capabilities: <access denied>
	Kernel driver in use: picoevb-rdma

用户空间应用程序

在 Jetson/Drive AGX Xavier 上构建，在 Jetson/Drive AGX Xavier 上运行

客户端应用程序最好在 Jetson/Drive AGX Xavier 本身上构建。确保已安装 CUDA 开发工具，然后执行：

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-jetson-drive-igpu-native.sh

在 x86 Linux PC 上构建，在 Jetson/Drive AGX Xavier 上运行

在 x86 Linux PC 上构建（交叉编译）客户端应用程序目前只有部分支持；makefile 尚不支持交叉编译 CUDA 测试应用程序。但是，其他应用程序可以通过执行以下命令进行交叉编译：

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-jetson-drive-igpu-on-pc.sh

你可能需要调整脚本 ./build-for-jetson-drive-igpu-on-pc.sh 中 CROSS_COMPILE 变量的值，以匹配你的 x86 Linux PC 的配置。

在 x86 Linux PC 上构建，在该 PC 上运行

确保已安装 CUDA 开发工具，然后执行：

sudo apt update
sudo apt install build-essential bc
cd /path/to/this/project/client-applications/
./build-for-pc-native.sh

运行测试

数据访问测试

提供了两个 PCIe 数据访问测试：rdma-malloc 和 rdma-cuda。两个测试在结构上相同，但使用不同的 API 分配内存；前者使用 malloc()，后者通过 cudaHostAlloc()（Jetson/Drive AGX Xavier）或 cudaMalloc()（PC）。

两个测试的进行过程如下：

1. 分配源内存和目标内存。
2. 在 CUDA 情况下，通过调用 cuPointerSetAttribute(CU_POINTER_ATTRIBUTE_SYNC_MEMOPS) 并固定内存来准备 RDMA。
3. 用已知模式填充源表面。
4. 用不同的值填充目标表面。
5. 使用 FPGA 将源复制到目标表面。
6. 验证数据是否正确复制。

要运行测试，请执行：

sudo ./rdma-malloc
sudo ./rdma-cuda

你可以通过为内核驱动的设备文件 /dev/picoevb 设置适当的权限来避免使用 sudo。

在内核驱动内部，复制操作将表面分成 64KiB 的块（或根据内存对齐情况更小），对于每个块，首先将该块的数据从源表面复制到 FPGA 的内部内存，然后将数据从 FPGA 的内部内存复制到目标表面。这同时演示了对 CUDA GPU 内存的 PCIe 读取和写入访问。将数据分成块的要求是由于 PicoEVB 板 FPGA 的内部内存大小限制，在生产设备中可能不适用。

还提供了单向复制功能的单独测试应用程序，用于报告传输性能。有两个版本的测试；一个使用主机上的 malloc() 分配内存，另一个使用通过 CUDA 分配的内存。要运行这些测试，请执行：

sudo ./rdma-malloc-h2c-perf
sudo ./rdma-malloc-c2h-perf
sudo ./rdma-cuda-h2c-perf
sudo ./rdma-cuda-c2h-perf

set-leds

此测试设置 PicoEVB 上三个 LED 的值。它接受一个命令行参数，表示要在这些 LED 上显示的二进制值。硬件会反转这个值，所以参数值 0 会打开所有 LED，参数值 7 会关闭所有 LED。例如：

./set-leds 2
./set-leds 5