代数多重网格求解器 (AmgX) 库

AmgX 是一个 GPU 加速的核心求解器库,可以加速计算密集型仿真中的线性求解部分。该库包含一个灵活的求解器组合系统,允许用户轻松构建复杂的嵌套求解器和预处理器。该库非常适合隐式非结构化方法。

AmgX 库为大规模并行提供了优化方法,具有灵活选择求解器构建方式的能力,并通过简单的 C API 实现访问,该 API 抽象了单个或多个 GPU 上的并行性和规模,使用用户提供的 MPI。

这是 NVIDIA 注册开发者计划门户网站上 AMGX 库的源代码。

该库的主要特性包括:

fp32、fp64 和混合精度求解
复数数据类型支持(目前有限)
标量或耦合块系统
使用提供的 MPI 进行分布式求解
灵活配置允许嵌套求解器、平滑器和预处理器
经典(Ruge-Steuben)和非平滑聚合代数多重网格
Krylov 方法:CG、BiCGSTAB、GMRES 等,可选预处理
各种平滑器:Jacobi、Gauss-Seidel、不完全 LU、Chebyshev 多项式等
通过 JSON 格式的求解器配置公开大量算法参数
模块化结构,便于实现自己的方法
支持 Linux 和 Windows

查看这些案例研究和白皮书:

<a name="quickstart"></a> 快速入门

以下是如何构建库并在 Matrix Market 格式文件的矩阵上运行示例求解器的说明。默认提供的示例使用全 1 向量作为线性系统的右侧,使用全 0 向量作为初始解。如果要提供自己的右侧值和初始解,请编辑示例。

<a name="requirements"></a> 依赖和要求

要构建项目,您需要 CMake 和 CUDA Toolkit。如果要尝试 AMGX 库的分布式版本,还需要 MPI 实现,例如 Linux 上的 OpenMPI 或 Windows 上的 MPICH。您需要支持 c++11 的编译器(例如 GCC 4.8 或 MSVC 14.0)。您还需要计算能力 >=3.0 的 NVIDIA GPU,请在此处查看您的 GPU 是否支持。

<a name="cloning"></a> 克隆/拉取

为了拉取所有必要的依赖项,必须使用 --recursive 选项克隆 AmgX,即:

git clone --recursive git@github.com:nvidia/amgx.git

如果要更新未使用 --recursive 克隆的存储库副本,可以使用:

git submodule update --init --recursive

<a name="building"></a> 构建

从项目根目录进行典型的构建命令:

mkdir build
cd build
cmake ../
make -j16 all

有几个自定义 CMake 标志可以使用:

CUDA_ARCH:虚拟架构值列表,在 CMakeLists 文件中转换为相应的 nvcc 标志。例如:

cmake ....  -DCUDA_ARCH="60 70" ....

CMAKE_NO_MPI:布尔值。如果为 True,则强制非 MPI(单 GPU)构建。会生成较小的库,可以在未安装 MPI 的系统上运行。如果未指定,则在 FindMPI 脚本找到任何 MPI 安装时启用 MPI 构建。
AMGX_NO_RPATH:布尔值。默认情况下,CMake 会向二进制文件添加 -rpath 标志。将此标志设置为 True 告诉 CMake 不这样做 - 对于控制执行环境很有用。
MKL_ROOT_DIR 和 MAGMA_ROOT_DIR:字符串值。MAGMA/MKL 功能用于加速一些 AMGX 特征求解器。如果 AMGX 未使用 MKL/MAGMA 支持构建,这些求解器将返回错误"不支持"。

构建系统现在启用 CUDA 作为语言,并使用 FindCUDAToolkit 和 FindMPI, 因此请参考 CMake 安装中这些脚本的模块特定标志。

使用 NVIDIA HPC SDK 构建时,请使用 CMake >= 3.22, 并使用 GCC 进行 C/CXX 编译,例如

cmake \
    -DCMAKE_C_COMPILER=gcc \
    -DCMAKE_CXX_COMPILER=g++ \
    -DCMAKE_BUILD_TYPE=Release \
    -DCUDA_ARCH="80" ..

构建的产物是共享库和静态库(libamgxsh.so 或 amgxsh.dll 和 libamgx.a 或 amgx.lib)以及"examples"目录中的几个二进制文件,为您提供使用各种 AMGX C API 的示例。仅在启用 MPI 构建时才构建 MPI 示例。

<a name="running"></a> 运行示例

示例输入矩阵 matrix.mtx 位于 examples 目录中。示例 AMGX 求解器配置位于根文件夹中的 src/configs 目录中。确保示例能够找到 AMGX 共享库 - 默认情况下,二进制文件使用 -rpath 标志,但您可以在环境变量中手动指定路径:Linux 上的 LD_LIBRARY_PATH 和 Windows 上的 PATH。

从构建目录运行单 GPU 示例:

> examples/amgx_capi -m ../examples/matrix.mtx -c ../src/configs/FGMRES_AGGREGATION.json
AMGX 版本 2.0.0-public-build125
构建于 2017年10月7日 04:51:11
使用 CUDA Runtime 9.0 编译，使用 CUDA 驱动程序 9.0
警告：未指定模式，默认使用 dDDI。
正在读取数据...
未找到 RHS 向量。使用 RHS b=[1,…,1]^T
未找到解向量。将初始解设置为 x=[0,…,0]^T
读取完成
AMG 网格：
         层级数：1
            层级         行数               非零元素数    稀疏度       内存 (GB)
         --------------------------------------------------------------
           0(D)           12                61     0.424       8.75e-07
         --------------------------------------------------------------
         网格复杂度：1
         算子复杂度：1
         总内存使用：8.75443e-07 GB
         --------------------------------------------------------------
           迭代      内存使用 (GB)       残差           收敛率
         --------------------------------------------------------------
            初始            0.403564   3.464102e+00
              0            0.403564   1.619840e-14         0.0000
         --------------------------------------------------------------
         总迭代次数：1
         平均收敛率：               0.0000
         最终残差：           1.619840e-14
         残差总减少量：      4.676075e-15
         最大内存使用：                0.404 GB
         --------------------------------------------------------------
总时间：0.00169123
    设置：0.00100198 秒
    求解：0.000689248 秒
    求解（每次迭代）：0.000689248 秒

从构建目录运行多 GPU 示例：

> mpirun -n 2 examples/amgx_mpi_capi.exe -m ../examples/matrix.mtx -c ../src/configs/FGMRES_AGGREGATION.json
进程 0 选择设备 0
进程 1 选择设备 0
AMGX 版本 2.0.0-public-build125
构建于 2017年10月7日 04:51:11
使用 CUDA Runtime 9.0 编译，使用 CUDA 驱动程序 9.0
警告：未指定模式，默认使用 dDDI。
警告：未指定模式，默认使用 dDDI。
无法将文件读取为 JSON 对象，尝试作为 AMGX 配置读取
将配置字符串转换为当前配置版本
解析配置字符串：exception_handling=1 ;
使用普通 MPI（主机缓冲区）通信器...
正在读取文件中的矩阵维度：../examples/matrix.mtx
正在读取数据...
未找到 RHS 向量。使用 RHS b=[1,…,1]^T
未找到解向量。将初始解设置为 x=[0,…,0]^T
读取完成
使用普通 MPI（主机缓冲区）通信器...
使用普通 MPI（主机缓冲区）通信器...
使用普通 MPI（主机缓冲区）通信器...
AMG 网格：
         层级数：1
            层级         行数               非零元素数    稀疏度       内存 (GB)
         --------------------------------------------------------------
           0(D)           12                61     0.424        1.1e-06
         --------------------------------------------------------------
         网格复杂度：1
         算子复杂度：1
         总内存使用：1.09896e-06 GB
         --------------------------------------------------------------
           迭代      内存使用 (GB)       残差           收敛率
         --------------------------------------------------------------
            初始             0.79834   3.464102e+00
              0             0.79834   3.166381e+00         0.9141
              1              0.7983   3.046277e+00         0.9621
              2              0.7983   2.804132e+00         0.9205
              3              0.7983   2.596292e+00         0.9259
              4              0.7983   2.593806e+00         0.9990
              5              0.7983   3.124839e-01         0.1205
              6              0.7983   5.373423e-02         0.1720
              7              0.7983   9.795357e-04         0.0182
              8              0.7983   1.651436e-13         0.0000
         --------------------------------------------------------------
         总迭代次数：9
         平均收敛率：               0.0331
         最终残差：           1.651436e-13
         残差总减少量：      4.767284e-14
         最大内存使用：                0.798 GB
         --------------------------------------------------------------
总时间：0.0170917
    设置：0.00145344 秒
    求解：0.0156382 秒
    求解（每次迭代）：0.00173758 秒