Open Data Discovery (ODD) Platform: 下一代数据发现与可观测性平台

什么是Open Data Discovery Platform?

Open Data Discovery (ODD) Platform是一个开源的数据发现和可观测性平台,专为数据团队设计,旨在帮助企业高效地实现数据民主化、增强协作并减少数据发现时间。作为下一代数据治理解决方案,ODD Platform提供了从数据摄入到生产的全方位洞察,通过前所未有的可观测性和信任来释放大数据的力量。

核心优势

• 缩短数据发现阶段
• 透明展示数据的使用方式和使用者
• 通过持续合规和数据质量监控培养数据文化
• 加速获取数据洞察
• 了解仪表板和临时报告的数据来源
• 负责任地弃用过时对象,评估和缓解风险

ODD Platform是开放数据发现规范的参考实现。通过标准化的数据收集,它消除了传统数据目录的低效问题,提高了数据目录的兼容性,实现了端到端的数据血缘,并采用了先进的数据质量和数据可观测性实践。

主要功能

1. 数据发现与可观测性

• 在联邦数据目录中积累分散的数据洞察
• 通过端到端的数据对象血缘获得可观测性
• 利用先进的端到端微服务血缘功能,跟踪整个数据景观中的数据流
• 通过管道监控工具获得警告和警报
• 存储元数据
• 使用ODD原生的现代轻量级UI

2. 机器学习优先

• 通过自动记录参数保存ML实验结果

3. 数据安全与合规

• 管理标签以防止数据滥用
• 参考标签以符合数据安全标准
• 完全透明地了解数据的使用方式和使用者

4. 数据质量

• 利用高级数据质量仪表板,深入了解数据集的质量指标、趋势和问题,实现主动的数据质量管理
• 通过ODD与Great Expectations和DBT测试的兼容性简化DQ流程
• 与任何自定义DQ框架集成

5. 参考数据管理(查找表) - 主数据管理(MDM)的一部分

• 集中管理和存储参考数据,确保货币代码、国家名称和产品类别等关键数据元素的单一真实来源
• 轻松将查找表与数据管道和转换集成,增强数据丰富和验证流程
• 通过在所有数据资产中维护准确一致的参考数据,支持数据治理和合规工作

快速开始

ODD Platform提供了多种部署和运行选项:

1. 作为独立容器运行
2. 使用Docker Compose在本地运行
3. 使用Helm Charts部署到Kubernetes

详细的安装和配置说明可以在GitHub页面找到。

集成

ODD Platform提供了广泛的数据源支持,包括:

• 数据库:PostgreSQL, MySQL, Oracle, MongoDB等
• 云服务:AWS S3, Athena, Glue, BigQuery等
• 数据处理:Airflow, Spark, DBT等
• BI工具:Tableau, PowerBI, Superset等
• ML工具:MLflow, Kubeflow等

完整的集成列表可在GitHub页面查看。

数据模型

ODD操作以下高级实体类型:

1. 数据集(数据集合:表、主题、文件、特征组)
2. 转换器(数据转换器:ETL或ML训练作业、实验)
3. 数据消费者(数据消费者:ML模型或BI仪表板)
4. 数据质量测试(数据集的数据质量测试)
5. 数据输入(数据源)
6. 转换器运行(ETL或ML训练作业的执行)
7. 质量测试运行(数据质量测试的执行)

更多信息请参阅规范文档。

社区支持

如果您需要帮助、想聊天或有任何其他问题,欢迎加入ODD社区:

• GitHub讨论区 - 讨论论坛和问题
• Slack - 加入对话!获取最新更新并与开发人员交流

贡献

ODD Platform欢迎社区贡献。最佳的贡献方式包括:

• 开发新的适配器
• 完善文档

在开始任何互动之前,请阅读并遵守行为准则。贡献之前,请查看贡献指南和标记为"good first issue"的问题。

许可证

ODD Platform使用Apache 2.0许可证。

通过ODD Platform,企业可以建立一个现代化、高效的数据治理框架,实现数据的民主化和可信度提升。无论是数据科学家、数据工程师还是业务分析师,都能从这个开源平台中受益,加速数据洞察的获取,提高数据质量,并确保数据安全与合规。在当今数据驱动的商业环境中,ODD Platform无疑是一个强大的工具,助力企业充分发挥数据的价值。