caelus

Caelus 是一套 Kubernetes 解决方案，用于通过运行额外的批处理作业来重用节点的空闲资源，这些资源来自在线作业的未充分利用，尤其是在低流量时段。为了使批处理作业与在线作业兼容，Caelus 动态管理多种资源隔离机制，并检查各种指标的异常情况。如果检测到干扰，批处理作业将被限制甚至终止。

特性

收集各种指标，包括节点资源、cgroup 资源和在线作业延迟
批处理作业可以在 YARN 或 Kubernetes 上运行
预测节点的总资源使用情况，包括在线作业和内核模块，如 slab
动态管理多种资源隔离机制，如 CPU、内存和磁盘空间
动态检查各种指标的异常情况，如 CPU 使用率或在线作业延迟
当检测到资源压力或延迟峰值时，限制甚至终止批处理作业
支持 Prometheus 指标
支持告警

用法

更多用法请参阅 Tutorial.md。该项目还有两个附加工具：

nm_operator

nm_operator 用于以远程 API 的方式执行 YARN 命令。

入门

构建

# 二进制构建，在 _output/bin/ 目录下生成二进制文件
$ make build

# 镜像构建
$ make image

# 运行单元测试
$ make test

运行

Caelus 最好在与 kubelet 进程相同的节点上运行，并将 kubelet 的 "root-dir" 值写入配置文件中的 "kubelet_root_dir"。

配置文件和规则文件只是示例文件，您可以根据不同需求添加更多功能。

# 通过脚本运行
$ mkdir -p /etc/caelus/
$ cp hack/config/rules.json /etc/caelus/
$ # 如果批处理作业在 YARN 上运行，必须将 hack/config/caelus.json 中的 "offline_type" 修改为 "yarn_on_k8s"，并运行以下命令
$ caelus --config=hack/config/caelus.json --v=2
$ # 如果批处理作业在 K8S 上运行，必须将 hack/config/caelus.json 中的 "offline_type" 修改为 "k8s"，并运行以下命令
$ # 如果命令在 pod 内运行，则可以忽略 kubeconfig 参数
$ caelus --config=hack/config/caelus.json --hostname-override=xxx --v=2 --kubeconfig=xxx

# 在容器中运行
$ # 容器参数和环境可以在 hack/yaml/caelus.json 中找到，例如：
$ docker run -it --cap-add SYS_ADMIN --cap-add NET_ADMIN --cap-add MKNOD --cap-add SYS_PTRACE --cap-add SYS_CHROOT --cap-add SYS_NICE -v /:/rootfs -v /sys:/sys -v /dev/disk:/dev/disk ccr.ccs.tencentyun.com/caelus/caelus:v1.0.0 /bin/bash

# 在 K8S 上运行
$ kubectl create -f hack/yaml/caelus.yaml
$ kubectl label node colation=true
$ kubectl -n kube-system get daemonset