flyte

Flyte 项目简介

Flyte 是一个开源的编排器，专注于建设适用于生产的数据和机器学习（ML）管道。该项目的设计理念是实现可扩展性和可重复性，其底层架构基于 Kubernetes 技术。利用 Flyte，用户团队可以通过 Python SDK 构建管道，然后无缝地在云端和本地环境中进行部署，以实现分布式处理和高效的资源利用。

构建

开发者可以使用 Python 或其他语言编写代码，并利用强大的类型引擎进行开发。

部署与扩展

无论是在本地还是远程集群，用户都可以轻松执行他们的模型。

快速开始

1. 安装 Flyte 的 Python SDK

   pip install flytekit

2. 创建工作流（示例代码可以参考 这里）
3. 本地运行：

   pyflyte run hello_world.py hello_world_wf

准备尝试 Flyte 集群？

1. 创建一个新的沙箱集群，运行在 Docker 容器中：

   flytectl demo start

2. 在集群上执行你的工作流：

   pyflyte run --remote hello_world.py hello_world_wf

想要观察更多功能且无需安装？可以访问 sandbox.union.ai，在这里你可以通过托管的 Jupyter notebook 探索 Flyte 的功能。

准备上生产环境？去 部署指南 查看在不同环境下安装 Flyte 的说明。

教程示例

• 在 Flyte 代码库上微调 Code Llama，更多详情见 此处。
• 使用 Horovod 和 Spark 进行销售预测，具体见 教程。
• 使用 BLASTX 查询核苷酸序列，查看 教程。

功能特点

• 🚀 强类型接口：通过定义类型确保工作流中的每一步的数据都经过验证。
• 🌐 支持任意语言：可用任意语言编写代码，或选择 Python、Java、Scala、JavaScript SDK 开发 Flyte 工作流。
• 🔒 不可变性：不可变的执行可确保执行状态不被改变，从而保证可重复性。
• ...（省略说明详细功能的部分）

谁在使用 Flyte

很多知名公司如 LinkedIn、Spotify、Freenome、Pachama、华纳兄弟等，已经采用 Flyte 进行关键任务的使用案例。欲了解全部使用者列表和如何添加贵组织或项目，请访问 使用者清单页面。

如何参与社区

• 👥 每月的社区同步：每月的第一个星期二举行，Flyte 团队提供项目更新，社区成员可以分享进展并提问。
• 💬 Slack 聊天：加入 Flyte 社区在 Slack 上的聊天，与其他用户交流，获取帮助。
• ⚠️ 新闻简报：可加入接收 Flyte 月度简报。
• 📹 Youtube：关注关于面板讨论、客户成功案例、社区更新以及功能深度剖析。
• 📄 博客：这里你能找到教程和功能深度分解，以帮助你更好地学习 Flyte。
• 💡 RFCs：RFCs 用于提出新的想法和功能，以改善 Flyte。

如何贡献

参与 Flyte 社区有很多方法，包括提交错误报告和功能请求、审阅文档、演讲或撰写关于 Flyte 的使用经验、认领标签为“需要帮助”或“第一次问题”的任务并根据贡献指南提交代码等。

我们对所有贡献者表示感谢 ❤️