NVIDIA GPU的MIG分区编辑器

MIG（Multi-Instance GPU的简称）是最新一代NVIDIA Ampere GPU的一种运行模式。它允许将一个GPU分割成一组"MIG设备"，对于使用它们的软件来说，每个设备都像是一个具有固定内存分区和固定计算资源分区的迷你GPU。有关MIG及其提供的功能的详细解释，请参阅MIG用户指南。

MIG分区编辑器（nvidia-mig-parted）是一个为系统管理员设计的工具，旨在简化MIG分区的操作。

它允许管理员以声明式方式定义一组可能的MIG配置，这些配置将应用于节点上的所有GPU。在运行时，他们只需将nvidia-mig-parted指向其中一个配置，nvidia-mig-parted就会负责应用它。通过这种方式，同一个配置文件可以分发到集群中的所有节点，并且可以使用运行时标志（或环境变量）来决定在任何给定时间实际应用哪种配置到节点。

例如，考虑以下NVIDIA DGX-A100节点的配置（可在本仓库的examples/config.yaml文件中找到）：

version: v1
mig-configs:
  all-disabled:
    - devices: all
      mig-enabled: false

  all-enabled:
    - devices: all
      mig-enabled: true
      mig-devices: {}

  all-1g.5gb:
    - devices: all
      mig-enabled: true
      mig-devices:
        "1g.5gb": 7

  all-2g.10gb:
    - devices: all
      mig-enabled: true
      mig-devices:
        "2g.10gb": 3

  all-3g.20gb:
    - devices: all
      mig-enabled: true
      mig-devices:
        "3g.20gb": 2

  all-balanced:
    - devices: all
      mig-enabled: true
      mig-devices:
        "1g.5gb": 2
        "2g.10gb": 1
        "3g.20gb": 1

  custom-config:
    - devices: [0,1,2,3]
      mig-enabled: false
    - devices: [4]
      mig-enabled: true
      mig-devices:
        "1g.5gb": 7
    - devices: [5]
      mig-enabled: true
      mig-devices:
        "2g.10gb": 3
    - devices: [6]
      mig-enabled: true
      mig-devices:
        "3g.20gb": 2
    - devices: [7]
      mig-enabled: true
      mig-devices:
        "1g.5gb": 2
        "2g.10gb": 1
        "3g.20gb": 1

mig-configs下的每个部分都是用户自定义的，使用自定义标签来引用它们。例如，all-disabled标签指的是为节点上所有GPU禁用MIG的配置。同样，all-1g.5gb标签指的是将节点上所有GPU切分为1g.5gb设备的MIG配置。最后，custom-config标签定义了一个完全自定义的配置，该配置在节点上的前4个GPU上禁用MIG，并在其余GPU上应用混合的MIG设备。

使用这个工具，可以依次运行以下命令来应用这些配置：

$ nvidia-mig-parted apply -f examples/config.yaml -c all-disabled
$ nvidia-mig-parted apply -f examples/config.yaml -c all-1g.5gb
$ nvidia-mig-parted apply -f examples/config.yaml -c all-2g.10gb
$ nvidia-mig-parted apply -f examples/config.yaml -c all-3g.20gb
$ nvidia-mig-parted apply -f examples/config.yaml -c all-balanced
$ nvidia-mig-parted apply -f examples/config.yaml -c custom-config

然后可以通过以下命令查看当前应用的配置：

$ nvidia-mig-parted export
version: v1
mig-configs:
  current:
  - devices: all
    mig-enabled: true
    mig-devices:
      1g.5gb: 2
      2g.10gb: 1
      3g.20gb: 1

并通过以下命令进行断言：

$ nvidia-mig-parted assert -f examples/config.yaml -c all-balanced
Selected MIG configuration currently applied

$ echo $?
0

$ nvidia-mig-parted assert -f examples/config.yaml -c all-1g.5gb
ERRO[0000] Assertion failure: selected configuration not currently applied

$ echo $?
1

注意： 单独使用nvidia-mig-parted工具并不能确保您的节点处于可以顺利应用MIG模式更改和MIG设备配置的状态。此外，它也不能确保MIG设备配置在节点重启后仍然保持不变。

为了解决这个问题，我们开发了一个systemd服务和一系列支持脚本，用来封装nvidia-mig-parted并提供这些非常需要的功能。更多详情请参阅deployments/systemd目录下的README.md文件。

安装nvidia-mig-parted

目前，nvidia-mig-parted没有通用的发布平台。不过，我们会构建deb、rpm和tarball包，并在每次发布时将它们作为资产分发。请访问我们的发布页面下载并安装这些包。

要从源代码构建，请按照以下方法之一进行操作。

使用docker和go install：

docker run \
    --rm \
    -v $(pwd):/dest \
    golang:1.20.1 \
    sh -c "
    go install github.com/NVIDIA/mig-parted/cmd/nvidia-mig-parted@latest
    mv /go/bin/nvidia-mig-parted /dest/nvidia-mig-parted
    "

直接运行go get和go install：

GO111MODULE=off go get -u github.com/NVIDIA/mig-parted/cmd/nvidia-mig-parted
GOBIN=$(pwd)    go install github.com/NVIDIA/mig-parted/cmd/nvidia-mig-parted

克隆仓库并构建：

git clone http://github.com/NVIDIA/mig-parted
cd mig-parted
go build ./cmd/nvidia-mig-parted

如果严格按照这些方法操作，应该会在当前目录生成一个名为nvidia-mig-parted的二进制文件。完成后，建议将此二进制文件移动到您的路径中的某个位置，以便您可以逐字执行以下命令。

快速入门

在详细介绍nvidia-mig-parted的每个可能选项之前，通过几个最常见用法的示例来演示会很有帮助。以下所有命令都使用本仓库examples/config.yaml下的示例配置文件。

从配置文件应用特定的MIG配置

nvidia-mig-parted apply -f examples/config.yaml -c all-1g.5gb

仅应用配置以更改MIG模式设置

nvidia-mig-parted apply --mode-only -f examples/config.yaml -c all-1g.5gb

使用调试输出应用MIG配置

nvidia-mig-parted -d apply -f examples/config.yaml -c all-1g.5gb

不使用配置文件应用一次性MIG配置

cat <<EOF | nvidia-mig-parted apply -f -
version: v1
mig-configs:
  all-1g.5gb:
  - devices: all
    mig-enabled: true
    mig-devices:
      1g.5gb: 7
EOF

仅应用一次性MIG配置以更改MIG模式

cat <<EOF | nvidia-mig-parted apply --mode-only -f -
version: v1
mig-configs:
  whatever:
  - devices: all
    mig-enabled: true
    mig-devices: {}
EOF

导出当前MIG配置

nvidia-mig-parted export

断言当前应用了特定的MIG配置

nvidia-mig-parted assert -f examples/config.yaml -c all-1g.5gb

断言当前应用了MIG配置的MIG模式设置

nvidia-mig-parted assert --mode-only -f examples/config.yaml -c all-1g.5gb

不使用配置文件断言一次性MIG配置

cat <<EOF | nvidia-mig-parted assert -f -
version: v1
mig-configs:
  all-1g.5gb:
  - devices: all
    mig-enabled: true
    mig-devices: 
      1g.5gb: 7
EOF

断言一次性MIG配置的MIG模式设置

cat <<EOF | nvidia-mig-parted assert --mode-only -f -
version: v1
mig-configs:
  whatever:
  - devices: all
    mig-enabled: true
    mig-devices: {}
EOF