文档:<a href="https://nebuly-ai.github.io/nos/overview" target="_blank"> docs.nebuly.com/nos/overview </a>
如果您喜欢这个项目,请给它点个星来支持 ✨
nos
是一个开源模块,用于在 Kubernetes 上高效运行 AI 工作负载,提高 GPU 利用率,降低基础设施成本并改善工作负载性能。
目前可用的功能有:
动态 GPU 分区:允许调度请求 GPU 分数的 Pod。GPU 分区是根据集群中待处理和正在运行的 Pod 实时自动执行的,这样 Pod 只需请求严格必要的资源,而 GPU 始终能得到充分利用。
弹性资源配额管理:通过允许命名空间在其他命名空间未使用预留资源时借用这些配额,从而增加集群上运行的 Pod 数量。
您可以使用 Helm 3 安装 nos
(推荐)。
您可以在 Chart 文档中找到所有可用的配置值。
helm install oci://ghcr.io/nebuly-ai/helm-charts/nos \ --version 0.1.2 \ --namespace nebuly-nos \ --generate-name \ --create-namespace
或者,您可以通过克隆仓库并运行 make deploy
来使用 Kustomize。