英文 | 中文

简介

       DataSphere Studio (简称 DSS) 是由WeBank开发的一个一站式数据应用开发管理门户。

       通过可插拔的集成框架设计以及Linkis计算中间件，DSS可以轻松集成各种上层数据应用系统,使数据开发变得简单易用。

       DataSphere Studio定位为数据应用开发门户,闭环覆盖数据应用开发的整个流程。通过统一的UI,类工作流的图形化拖拽开发体验满足从数据导入、脱敏清洗、数据分析、数据挖掘、质量检查、可视化、调度到数据输出应用等数据应用开发全生命周期。

       借助Linkis的连通、可重用和简化能力,DSS天生具备金融级别的高并发、高可用、多租户隔离和资源管理等能力。

UI预览

       请耐心等待,加载 gif 需要一些时间。

核心功能

1. 一站式、全流程的应用开发管理 UI

       DSS高度集成。当前集成的组件包括（以下各组件与 DSS 版本的兼容性,请访问: 集成数据应用组件兼容列表）:

       1. 数据开发 IDE 工具 - Scriptis

       2. 数据可视化工具 - Visualis (基于信而富开源项目 Davinci 贡献)

       3. 数据质量管理工具 - Qualitis

       4. 工作流调度工具 - Schedulis

       5. 数据交换工具 - Exchangis

       6. 数据 Api 服务 - DataApiService

       7. 流式应用开发管理工具 - Streamis

       8. 一站式机器学习平台 - Prophecis

       9. 工作流任务调度工具 - DolphinScheduler (代码合并中)

       10. 使用文档和新手指南 - UserGuide (代码合并中)

       11. 数据模型中心 - DataModelCenter (开发中)

       以上各组件与 DSS 版本的兼容性,请访问: 集成数据应用组件兼容列表。

       通过可插拔的框架架构设计,DSS允许用户快速集成新的数据应用工具,或替换DSS已集成的各种工具。例如,用Zeppelin替换Scriptis,用DolphinScheduler替换Schedulis...

2. 基于 Linkis 的 AppConn,定义了独特的设计理念

       AppConn 是使 DSS 能够轻松快速集成各种上层 Web 系统的核心概念。

       AppConn,即应用连接器,定义了一套统一的前后端三级集成协议,使外部数据应用系统能够轻松快速成为 DSS 数据应用开发的一部分。

       AppConn 的三级规范分别是:一级 SSO 规范、二级组织架构规范和三级开发流程规范。

       DSS 将多个 AppConn 串联成流程,支持实时执行和定时执行。用户可以通过简单的拖拽操作完成整个数据应用的全流程开发。

       由于 AppConn 与 Linkis 集成,外部数据应用系统共享了资源管理、并发限制和高性能等能力。AppConn 还允许跨系统级别共享上下文,因此使外部数据应用完全摆脱了应用孤岛。

            ### 3. 以工作空间作为管理单元

       以工作空间作为管理单元,它对各种数据应用系统的业务应用进行组织和管理,为跨数据应用系统的工作空间协同开发制定了一套共同标准,并提供了用户角色管理功能。

4. 集成数据应用组件

       DSS通过实施多个AppConns集成了各种上层数据应用系统,基本满足了用户的数据开发需求。

       如有需要,也可以轻松集成新的数据应用系统,以替换或充实DSS的数据应用开发流程。 点击了解如何快速集成新的应用系统

组件	描述	DSS0.X兼容版本(推荐使用DSS0.9.1)	DSS1.0兼容版本(推荐使用DSS1.1.0)
Linkis	Apache Linkis计算中间件,通过提供REST/WebSocket/JDBC/SDK等标准接口,上层应用程序可以轻松连接和访问底层的MySQL/Spark/Hive/Presto/Flink等引擎。	推荐使用Linkis0.11.0(已发布)	>=Linkis1.1.1(已发布)
DataApiService	（DSS内置的第三方应用工具）数据API服务。可以快速将SQL脚本发布为Restful接口,为外部世界提供Rest访问能力。	不支持	推荐使用DSS1.1.0(已发布)
Scriptis	（DSS内置的第三方应用工具）支持在线编写SQL、Pyspark、HiveQL等脚本,并提交到Linkis数据分析Web工具。	推荐使用DSS0.9.1(已发布)	推荐使用DSS1.1.0(已发布)
Schedulis	基于Azkaban二次开发的工作流任务调度系统,具有金融级的高性能、高可用和多租户资源隔离等特性。	推荐使用Schedulis0.6.1(已发布)	>=Schedulis0.7.0(已发布)
EventCheck	（DSS内置的第三方应用工具）提供跨业务、工程和工作流的信号通信能力。	推荐使用DSS0.9.1(已发布)	推荐使用DSS1.1.0(已发布)
SendEmail	（DSS内置的第三方应用工具）提供发送数据的能力,可以通过电子邮件发送其他工作流节点的所有结果集。	推荐使用DSS0.9.1(已发布)	推荐使用DSS1.1.0(已发布)
Qualitis	数据质量验证工具,提供数据完整性和正确性等数据验证能力。	推荐使用Qualitis0.8.0(已发布)	>=Qualitis0.9.2(已发布)
Streamis	流应用程序开发管理工具。它支持Flink Jar和Flink SQL的发布,并提供流应用程序的开发、调试和生产管理能力,如:启停、状态监控、检查点等。	不支持	>=Streamis0.2.0(已发布)
Prophecis	一个集成多种开源机器学习框架的一站式机器学习平台。Prophecis的MLFlow可通过AppConn连接到DSS工作流。	不支持	>=Prophecis 0.3.2(已发布)
Exchangis	一个数据交换平台,支持在结构化和非结构化异构数据源之间进行数据传输,即将到来的Exchangis1.0将与DSS工作流配合使用。	不支持	=Exchangis1.0.0(已发布)
Visualis	一个基于信用卡开源项目Davinci二次开发的数据可视化BI工具,在数据安全性方面为用户提供金融级的数据可视化能力。	推荐使用Visualis0.5.0	>=Visualis1.0.0(已发布)
DolphinScheduler	Apache DolphinScheduler,一个分布式且易于扩展的可视化工作流任务调度平台,支持一键将DSS工作流发布到DolphinScheduler。	不支持	DolphinScheduler1.3.X(已发布)
UserGuide	（DSS将内置的第三方应用工具）包含帮助文档、新手指南、黑暗模式皮肤等。	不支持	>=DSS1.1.0(已发布)
DataModelCenter	（DSS将要建立的第三方应用工具）主要提供数据仓库规划、数据模型开发和数据资产管理能力。数据仓库规划包括主题域、数据仓库层次、修饰语等;数据模型开发包括指标、维度、度量、基于向导的表构建等;数据资产与Apache Atlas对接提供数据血缘能力。	不支持	计划在DSS1.2.0中(正在开发)
UserManager	（DSS内置的第三方应用工具）自动初始化新DSS用户所需的所有用户环境,包括:创建Linux用户、各种用户路径、目录授权等。	推荐使用DSS0.9.1(已发布)	正在计划中
Airflow	支持将DSS工作流发布到Apache Airflow进行定期调度。	PR尚未合并	不支持

示范试用环境

       DataSphere Studio支持脚本执行的功能存在较高的安全风险,WeDataSphere Demo环境的隔离也尚未完成。考虑到很多用户都在询问Demo环境,我们决定先向社区发放邀请码,接受企业和组织的试用申请。

       如果您想试用Demo环境,请加入DataSphere Studio社区用户群(请参考文档末尾),并联系WeDataSphere Group Robot获取邀请码。

       DataSphereStudio Demo环境登录页面: 点击进入

下载

请前往DSS发布页下载编译好的DSS版本或源代码包。

编译与部署

请按照编译指南从源代码编译DSS。

请参考部署文档进行部署。

示例和指南

您可以在用户手册中找到关于如何使用DSS的示例和指南。

文档

有关DSS1.0的完整文档列表,请参阅DSS-Doc。

以下是DSS相关AppConn插件的安装指南:

• Visualis AppConn插件安装指南
• Schedulis AppConn插件安装指南
• Qualitis AppConn插件安装指南
• Exchangis AppConn插件安装指南
• Streamis AppConn插件安装指南
• Prophecis AppConn插件安装指南
• DolphinScheduler AppConn插件安装指南

架构

使用场景

DataSphere Studio适用于以下场景:

1. 正在准备或初始化大数据平台能力,但没有数据应用工具的场景。
2. 已有大数据基础平台能力,但只有少量数据应用工具的场景。
3. 拥有大数据基础平台和全面的数据应用工具,但由于这些工具未集成在一起而造成强隔离和学习成本过高的场景。
4. 具有大数据基础平台和全面的数据应用工具能力,但缺乏统一和标准化的规范,且部分工具已集成的场景。

贡献

我们永远欢迎任何形式的贡献,我们需要更多的贡献者一起构建DSS。无论是代码、文档还是其他有助于社区发展的支持,都是非常宝贵的。

对于代码和文档贡献,请遵循贡献指南。

交流

如有任何疑问或建议,欢迎通过issue形式提出。

您可以扫描下方二维码加入我们的微信群,获得更及时的响应。

谁在使用DSS

我们开放了一个issue,供用户反馈并记录谁在使用DSS。

自DSS于2019年首次发布以来,已积累了700多家试用公司和1000多名沙盒试用用户,涉及金融、银行、电信、制造业、互联网等各个行业。

许可证

DSS采用Apache 2.0许可证。详情请参见许可证文件。