aqueduct

Aqueduct 项目介绍

Aqueduct 是一个开源的 MLOps 框架，设计旨在使用户能够在任何云基础设施上定义和部署机器学习（ML）和大型语言模型（LLM）任务。无论是经验丰富的工程师还是刚接触这一领域的新手，Aqueduct 的目标都是提供一站式简化解决方案，使得用户可以在不干扰现有工具的情况下，轻松便捷地部署和管理机器学习项目。

项目背景

在当今的技术环境中，要成功地运行机器学习任务，团队往往需要管理多种不同的云基础设施工具，这些工具之间的 API 不统一，难以协作。Aqueduct 出现在这个复杂环境中，解决了多工具的整合问题，提供了一个统一的接口，以便用户可以在已有的云基础设施上轻松运行机器学习任务。

项目亮点

1. Python 原生 API：Aqueduct 允许用户使用普通的 Python 代码定义机器学习任务。无需学习复杂的领域特定语言（DSL）或配置文件（如 YAML），让代码更快地投入生产。

2. 与基础设施无缝集成：Aqueduct 的工作流可以在用户常用的云基础设施上运行，如 Kubernetes、Spark、Airflow、AWS Lambda 等。这样用户可以在现有工具的基础上，享受到 Aqueduct 带来的优势。

3. 集中透明化管理：在生成环境中，Aqueduct 提供对代码、数据、指标和元数据的可视化管理，帮助用户及时了解工作流的运行状态，确保管道按预期工作，并即时发现问题。

4. 安全运行：作为完全开源的软件，Aqueduct 可以在任何 Unix 环境中运行。用户的数据和代码完全在自己的云中操作，确保安全性。

如何使用 Aqueduct

要开始使用 Aqueduct，用户只需简单的几步安装和部署：

pip3 install aqueduct-ml
aqueduct start

用户可以通过 Python 原生 API 定义机器学习任务，比如在 Kubernetes 上训练模型，然后在 AWS Lambda 上验证模型，全程只需要编写少量的 Python 代码。

工作流与示例

Aqueduct 中的核心概念是工作流，它由算子（计算）转化的工件（数据）组成。工作流的输入数据通常来自数据库，输出数据也可以回写到数据库。工作流可以被设定为定期运行或按需触发。

为了帮助用户上手，Aqueduct 提供了一些实际应用的机器学习工作流示例：

• 客户流失预测
• 情感分析
• 补全缺失的酒评数据

了解更多

有关 Aqueduct 的更多信息、使用指南及创建工作流的详细方法，用户可以访问 官方文档。若有疑问或想进一步了解 Aqueduct 的开发进展，也可以通过 GitHub、Slack 频道与团队进行交流。对于有兴趣参与项目的人，Aqueduct 还提供了开发路线图以供参考。

Aqueduct 致力于将机器学习的部署与管理变得简单、高效，为用户在繁忙的技术环境中提供支持与帮助。