dagster

<div align="center"> <!-- 注意：请勿尝试在此处使用 `picture` 元素添加深色模式版本，这会破坏 PyPI 中的格式 --> <a target="_blank" href="https://dagster.io" style="background:none"> <img alt="dagster 标志" src="https://yellow-cdn.veclightyear.com/835a84d5/e744bc9d-0377-4f58-8a64-e9ff0e824d02.svg" width="auto" height="100%"> </a> <a target="_blank" href="https://github.com/dagster-io/dagster" style="background:none"> <img src="https://img.shields.io/github/stars/dagster-io/dagster?labelColor=4F43DD&color=163B36&logo=github"> </a> <a target="_blank" href="https://github.com/dagster-io/dagster/blob/master/LICENSE" style="background:none"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/ef22429d-7ead-40cd-b1b6-33d2a87e94b4.svg?label=license&labelColor=4F43DD&color=163B36"> </a> <a target="_blank" href="https://pypi.org/project/dagster/" style="background:none"> <img src="https://img.shields.io/pypi/v/dagster?labelColor=4F43DD&color=163B36"> </a> <a target="_blank" href="https://pypi.org/project/dagster/" style="background:none"> <img src="https://img.shields.io/pypi/pyversions/dagster?labelColor=4F43DD&color=163B36"> </a> <a target="_blank" href="https://twitter.com/dagster" style="background:none"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/abe1aa40-b15e-4311-9166-f04858affbd6.svg?labelColor=4F43DD&color=163B36&logo=twitter" /> </a> <a target="_blank" href="https://dagster.io/slack" style="background:none"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/92dcde65-aaab-4966-879b-654e943cb27d.svg?labelColor=4F43DD&color=163B36&logo=slack" /> </a> <a target="_blank" href="https://linkedin.com/showcase/dagster" style="background:none"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/75661f91-a3a5-4a4b-92e5-cb479b59af6a.svg?labelColor=4F43DD&color=163B36&logo=linkedin" /> </a> </div>

Dagster 是一个面向整个开发生命周期的云原生数据管道编排工具，集成了血缘分析和可观察性，采用声明式编程模型，并具有同类最佳的可测试性。

它专为开发和维护数据资产而设计，如表格、数据集、机器学习模型和报告。

使用 Dagster，您可以通过 Python 函数声明要构建的数据资产。然后，Dagster 帮助您在适当的时间运行这些函数，并保持资产的最新状态。

以下是一个用 Python 定义的三个资产的图示例：

from dagster import asset
from pandas import DataFrame, read_html, get_dummies
from sklearn.linear_model import LinearRegression

@asset
def country_populations() -> DataFrame:
    df = read_html("https://tinyurl.com/mry64ebh")[0]
    df.columns = ["country", "pop2022", "pop2023", "change", "continent", "region"]
    df["change"] = df["change"].str.rstrip("%").str.replace("−", "-").astype("float")
    return df

@asset
def continent_change_model(country_populations: DataFrame) -> LinearRegression:
    data = country_populations.dropna(subset=["change"])
    return LinearRegression().fit(get_dummies(data[["continent"]]), data["change"])

@asset
def continent_stats(country_populations: DataFrame, continent_change_model: LinearRegression) -> DataFrame:
    result = country_populations.groupby("continent").sum()
    result["pop_change_factor"] = continent_change_model.coef_
    return result

在 Dagster 的 Web 界面中加载的图：

<p align="center"> <img width="100%" alt="在 Dagster 界面中渲染的资产图示例" src="https://yellow-cdn.veclightyear.com/835a84d5/44db1d3c-9c05-4f92-bd76-ad9848fa1e22.png"> </p>

Dagster 旨在用于数据开发生命周期的每个阶段 - 从本地开发、单元测试、集成测试、预发环境，一直到生产环境。

快速入门：

如果您是 Dagster 新手，我们建议阅读其核心概念或通过实践教程学习。

Dagster 可在 PyPI 上获得，并正式支持 Python 3.8 至 Python 3.12。

pip install dagster dagster-webserver

这将安装两个包：

• dagster：核心编程模型。
• dagster-webserver：托管 Dagster Web 界面的服务器，用于开发和操作 Dagster 作业和资产。

使用搭载 Apple 芯片的 Mac？请查看这里的安装详情。

文档

您可以在这里找到完整的 Dagster 文档，包括"入门指南"。

<hr/>

主要特性：

<p align="center"> <img width="100%" alt="image" src="https://yellow-cdn.veclightyear.com/835a84d5/f7f08bb7-45aa-4dbc-bd96-110de37d9cf7.svg"> </p>

Dagster 作为生产力平台

使用声明式方法确定需要创建的关键资产，或者专注于运行基本任务。从一开始就采用 CI/CD 最佳实践：构建可重用组件，发现数据质量问题，并及早标记错误。

Dagster 作为强大的编排引擎

使用一个强大的多租户、多工具引擎将您的管道投入生产，该引擎在技术和组织上都能扩展。

Dagster 作为统一控制平面

随着复杂性增加，保持对数据的控制。将您的元数据集中在一个工具中，该工具内置可观察性、诊断、编目和血缘分析。发现任何问题并识别性能改进机会。

<hr />

通过集成掌握现代数据栈

Dagster 为当今最流行的数据工具提供了不断增长的集成库。与您已在使用的工具集成，并部署到您的基础设施中。

<br/> <p align="center"> <a target="_blank" href="https://dagster.io/integrations" style="background:none"> <img width="100%" alt="image" src="https://yellow-cdn.veclightyear.com/835a84d5/9b062eef-efa4-489c-b867-c7be9ba5b635.png"> </a> </p>

社区

与数千名使用 Dagster 构建的其他数据从业者联系。分享知识、获取帮助，并为开源项目做出贡献。要查看精选材料和即将举行的活动，请查看我们的 Dagster 社区页面。

通过以下方式加入我们的社区：

• 🌟 在 GitHub 上为我们点星
• 📥 订阅我们的新闻通讯
• 🐦 在 Twitter 上关注我们
• 🕴️ 在 LinkedIn 上关注我们
• 📺 订阅我们的 YouTube 频道
• 📚 阅读我们的博客文章
• 👋 加入我们的 Slack
• 🗃 浏览 Slack 存档
• ✏️ 开始 GitHub 讨论

贡献

有关贡献或为开发运行项目的详细信息，请查看我们的贡献指南。

许可证

Dagster 采用 Apache 2.0 许可证。