Katib入门学习资料汇总-Kubernetes原生自动机器学习系统

Katib简介

Katib是一个基于Kubernetes的开源自动机器学习(AutoML)系统,主要用于执行超参数调优、神经架构搜索和早停等任务。它具有以下特点:

框架无关:支持TensorFlow、PyTorch、MXNet等各种机器学习框架
Kubernetes原生:可以利用Kubernetes的资源调度和扩展能力
灵活可扩展:支持多种搜索算法,可自定义新的算法

Katib的名称来源于阿拉伯语中"秘书"的意思,体现了它自动化辅助机器学习的功能。

Katib架构图

核心功能

Katib主要提供以下几类功能:

超参数调优
神经架构搜索
早停

支持的算法包括:

随机搜索
网格搜索
贝叶斯优化
超频段
TPE(Tree-structured Parzen Estimator)
ENAS
DARTS 等

快速入门

安装

Katib可以作为Kubeflow的一个组件安装,也可以单独安装。单独安装的命令如下:

kubectl apply -k "github.com/kubeflow/katib.git/manifests/v1beta1/installs/katib-standalone?ref=master"

创建实验

可以通过YAML或Python SDK创建Katib实验。以下是一个简单的Python SDK示例:

import kubeflow.katib as katib

def objective(parameters):
    x = parameters["x"]
    y = parameters["y"]
    return -(x ** 2 + y ** 2)

search_space = {
    "x": katib.search.double(-5, 5),
    "y": katib.search.double(-5, 5), 
}

katib_client = katib.KatibClient()
experiment = katib_client.create_experiment(
    name="quadratic-function-optimization",
    objective=objective,
    parameter_specs=search_space,
    objective_metric_name="f",
    algorithm="random",
    max_trial_count=20
)