ZenML入门指南 - 连接数据科学团队与云基础设施的MLOps框架

ZenML简介

ZenML是一个开源的MLOps框架,旨在无缝连接数据科学团队与云基础设施。它为数据科学家和ML工程师提供了一种标准化机器学习实践的简单方法,只需在现有Python函数上添加几个装饰器,就可以构建生产级ML管道。

ZenML的主要功能

1. 简单的管道创建

只需添加@step和@pipeline装饰器,就可以将现有Python函数转换为ML管道。例如:

from zenml import pipeline, step

@step
def load_data() -> dict:
    training_data = [[1, 2], [3, 4], [5, 6]]
    labels = [0, 1, 0]
    return {'features': training_data, 'labels': labels}

@step
def train_model(data: dict) -> None:
    # 训练模型代码...

@pipeline
def simple_ml_pipeline():
    dataset = load_data()
    train_model(dataset)

if __name__ == "__main__":
    simple_ml_pipeline()

2. 轻松配置MLOps堆栈

ZenML可以在AWS、GCP、Azure等多个云平台上运行,无需更改代码。它还提供了一键部署功能,可以快速在选定的云提供商上部署远程堆栈。

3. 在生产基础设施上轻松运行工作负载

配置好MLOps堆栈后,只需几行命令就可以在上面运行工作负载:

zenml stack set <STACK_NAME>
python run.py

4. 跟踪模型、管道和artifacts

ZenML可以创建完整的血缘关系,记录谁在何时使用什么数据和代码版本生产了哪个模型,保证完全的可重现性和可审核性。

5. 与常用工具集成

ZenML可以无缝集成到现有的工具和基础设施中,如MLflow、BentoML等。

快速入门

1. 通过pip安装ZenML:

pip install "zenml[server]" notebook

2. 运行引导式快速入门教程

3. 查看文档和入门指南深入学习

4. 尝试示例项目:

   • 端到端批量推理
   • 使用BERT的基础NLP
   • 使用Langchain和OpenAI的LLM RAG管道

部署ZenML

ZenML提供两种部署方式:

• ZenML Pro: SaaS版本,由ZenML团队管理维护
• 自托管部署:可以通过CLI、Docker、Helm等方式在自己的环境中部署

通过使用ZenML,数据科学团队可以轻松标准化ML实践,构建可重现的端到端ML管道,并无缝连接到云基础设施。无论是个人还是团队,ZenML都是一个值得尝试的强大MLOps工具。