dolphinscheduler

dolphinscheduler

高性能低代码工作流编排平台

Apache DolphinScheduler是一款开源的数据工作流编排平台,支持低代码方式创建高性能工作流。该平台提供直观的用户界面,解决数据管道中的复杂任务依赖,并支持多种开箱即用的作业类型。DolphinScheduler易于部署,支持多种工作流管理方式,具有高可靠性和可扩展性。它支持云原生架构、多租户、工作流版本控制、状态管理和细粒度权限控制,适用于各种规模的数据处理需求。

Apache DolphinScheduler工作流调度数据编排云原生开源项目Github

Apache DolphinScheduler

许可证 代码覆盖率 质量门状态 Twitter 关注 Slack 状态 中文文档

关于

Apache DolphinScheduler 是一个现代数据编排平台。它能够敏捷地使用低代码创建高性能工作流。它还提供了强大的用户界面,致力于解决数据管道中复杂的任务依赖关系,并提供各种开箱即用的作业类型。

DolphinScheduler 的主要特点如下:

  • 易于部署,提供四种部署方式,包括单机、集群、Docker 和 Kubernetes。
  • 易于使用,可以通过四种方式创建和管理工作流,包括 Web UI、Python SDK、Yaml 文件和开放 API。
  • 高度可靠和高可用性,采用多主多工分布式架构,原生支持水平扩展。
  • 高性能,其性能比其他编排平台快 N 倍,每天可支持数千万个任务。
  • 云原生,DolphinScheduler 支持编排多云/数据中心工作流,并支持自定义任务类型。
  • 对工作流和工作流实例(包括任务)进行版本控制。
  • 对工作流和任务的各种状态控制,支持随时暂停/停止/恢复它们。
  • 多租户支持。
  • 其他功能如回填支持(Web UI 原生)、权限控制(包括项目、资源和数据源)。

快速开始

用户界面截图

  • 主页: 项目和工作流概览,包括最新的工作流实例和任务实例状态统计。 主页

  • 工作流定义: 通过拖放创建和管理工作流,轻松构建和维护复杂工作流,开箱即用支持大量任务工作流定义

  • 工作流树视图: 抽象树结构可以更清晰地理解任务之间的关系。 工作流树

  • 数据源: 管理支持多种外部数据源,为 MySQL、PostgreSQL、Hive、Trino 等提供统一的数据访问能力。 数据源

  • 监控: 实时查看主服务器、工作节点和数据库的状态,包括服务器资源使用和负载,无需登录服务器即可快速进行健康检查。 监控

建议和错误报告

请遵循此指南报告您的建议或错误。

贡献

社区欢迎每个人贡献,请参阅此页面了解更多信息:如何贡献, 如果您是 DolphinScheduler 新手,可以在这里找到适合初学者的问题。

社区

欢迎加入 Apache DolphinScheduler 社区:

生态系统

<p align="center"> <br/><br/> <img src="https://yellow-cdn.veclightyear.com/835a84d5/b6015b09-ff86-4991-90df-32a2ff6903ae.jpg" width="175" alt="cncf-landscape"/>&nbsp;&nbsp;<img src="https://yellow-cdn.veclightyear.com/835a84d5/e79e5b07-d7f9-4634-b504-dd5cc30c137a.jpg" width="200" alt="cncf-logo"/> <br/><br/> DolphinScheduler 丰富了 <a href="https://landscape.cncf.io/?item=orchestration-management--scheduling-orchestration--dolphinscheduler">CNCF 云原生景观。</a > </p >

编辑推荐精选

Refly.AI

Refly.AI

最适合小白的AI自动化工作流平台

无需编码,轻松生成可复用、可变现的AI自动化工作流

酷表ChatExcel

酷表ChatExcel

大模型驱动的Excel数据处理工具

基于大模型交互的表格处理系统,允许用户通过对话方式完成数据整理和可视化分析。系统采用机器学习算法解析用户指令,自动执行排序、公式计算和数据透视等操作,支持多种文件格式导入导出。数据处理响应速度保持在0.8秒以内,支持超过100万行数据的即时分析。

AI工具酷表ChatExcelAI智能客服AI营销产品使用教程
TRAE编程

TRAE编程

AI辅助编程,代码自动修复

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
AIWritePaper论文写作

AIWritePaper论文写作

AI论文写作指导平台

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

AI辅助写作AI工具AI论文工具论文写作智能生成大纲数据安全AI助手热门
博思AIPPT

博思AIPPT

AI一键生成PPT,就用博思AIPPT!

博思AIPPT,新一代的AI生成PPT平台,支持智能生成PPT、AI美化PPT、文本&链接生成PPT、导入Word/PDF/Markdown文档生成PPT等,内置海量精美PPT模板,涵盖商务、教育、科技等不同风格,同时针对每个页面提供多种版式,一键自适应切换,完美适配各种办公场景。

AI办公办公工具AI工具博思AIPPTAI生成PPT智能排版海量精品模板AI创作热门
潮际好麦

潮际好麦

AI赋能电商视觉革命,一站式智能商拍平台

潮际好麦深耕服装行业,是国内AI试衣效果最好的软件。使用先进AIGC能力为电商卖家批量提供优质的、低成本的商拍图。合作品牌有Shein、Lazada、安踏、百丽等65个国内外头部品牌,以及国内10万+淘宝、天猫、京东等主流平台的品牌商家,为卖家节省将近85%的出图成本,提升约3倍出图效率,让品牌能够快速上架。

iTerms

iTerms

企业专属的AI法律顾问

iTerms是法大大集团旗下法律子品牌,基于最先进的大语言模型(LLM)、专业的法律知识库和强大的智能体架构,帮助企业扫清合规障碍,筑牢风控防线,成为您企业专属的AI法律顾问。

SimilarWeb流量提升

SimilarWeb流量提升

稳定高效的流量提升解决方案,助力品牌曝光

稳定高效的流量提升解决方案,助力品牌曝光

Sora2视频免费生成

Sora2视频免费生成

最新版Sora2模型免费使用,一键生成无水印视频

最新版Sora2模型免费使用,一键生成无水印视频

Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

下拉加载更多