odd-platform

<div align="center"> <img src="https://yellow-cdn.veclightyear.com/0a4dffa0/35cc0b34-5bb8-4db2-8c55-4a9e1ae73079.png" width="600px" alt="open-data-discovery-logo"/>  </div> <h1 align="center" style="border-bottom: none"> 下一代数据发现和数据可观测性平台 <br> </h1> <div align="center"> <a href="https://www.apache.org/licenses/LICENSE-2.0"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/ca1517b0-fa88-472f-9d9c-0dba2b346b53.svg?style=for-the-badge" alt="Apache2"></a> <img src="https://img.shields.io/maintenance/yes/2024?style=for-the-badge" alt="维护"> <a href="https://github.com/opendatadiscovery/odd-platform/graphs/contributors"><img src="https://img.shields.io/github/contributors/opendatadiscovery/odd-platform?style=for-the-badge" alt="GitHub贡献者"></a> <a href="https://github.com/opendatadiscovery/odd-platform/contribute"><img src="https://img.shields.io/github/issues/opendatadiscovery/odd-platform/good%20first%20issue?style=for-the-badge" alt="GitHub问题（按标签）"></a> </div> <p align="center"> <a href="https://opendatadiscovery.org/"><b>网站</b></a> • <a href="https://www.linkedin.com/company/opendatadiscovery/"><b>领英</b></a> • <a href="https://go.opendatadiscovery.org/slack"><b>Slack</b></a> • <a href="https://docs.opendatadiscovery.org/"><b>文档</b></a> • <a href="https://blog.opendatadiscovery.org/"><b>博客</b></a> • <a href="https://demo.oddp.io/"><b>演示</b></a> </p> <p align="center"><img src="https://yellow-cdn.veclightyear.com/0a4dffa0/bb3423d3-c2a8-4465-9fbc-8cc47fae3801.gif" alt="下一代数据发现和数据可观测性平台" /></p>

演示

体验我们的演示应用！

简介

ODD是一个面向数据团队的开源数据发现和可观测性工具，通过现代化、用户友好的环境，帮助高效地实现数据民主化、增强协作并缩短数据发现时间。

主要优势

缩短数据发现阶段
清晰了解数据的使用方式和使用者
通过持续的合规性和数据质量监控培养数据文化
加速数据洞察
了解仪表板和临时报告的数据来源
通过评估和降低风险，负责任地废弃过时的对象
:point_right: ODD平台是**开放数据发现规范**的参考实现。

功能

数据发现和可观测性

在联邦数据目录中积累分散的数据洞察
通过端到端数据对象血缘关系获得可观测性
利用先进的端到端微服务血缘关系功能，跟踪整个数据景观中的数据流
通过管道监控工具获得警告和提醒
存储元数据
使用ODD原生的现代轻量级UI

机器学习优先

通过自动记录参数保存机器学习实验结果

数据安全与合规

管理标签以防止数据滥用
参考标签以遵守数据安全标准
完全透明地了解数据的使用方式和使用者

数据质量

利用高级数据质量仪表板，深入了解数据集的数据质量指标、趋势和问题，实现主动的数据质量管理
通过与Great Expectations和DBT测试的兼容性，简化数据质量流程
将ODD与任何自定义数据质量框架集成

参考数据管理（查找表） - 主数据管理（MDM）的一部分

集中管理和存储参考数据，确保关键数据元素（如货币代码、国家名称和产品类别等）的单一真实来源
轻松将查找表与数据管道和转换集成，增强数据丰富和验证过程
通过在所有数据资产中维护准确一致的参考数据，支持数据治理和合规工作

入门指南

作为独立容器运行

设置PostgreSQL连接详情，例如：

export POSTGRES_HOST=172.17.0.1 \
export POSTGRES_PORT=5432 \
export POSTGRES_DATABASE=postgres \
export POSTGRES_USER=postgres \
export POSTGRES_PASSWORD=mysecretpassword

启动平台的新实例：

docker run -d \
  --name odd-platform \
  -e SPRING_DATASOURCE_URL=jdbc:postgresql://${POSTGRES_HOST}:${POSTGRES_PORT}/${POSTGRES_DATABASE} \
  -e SPRING_DATASOURCE_USERNAME=${POSTGRES_USER} \
  -e SPRING_DATASOURCE_PASSWORD=${POSTGRES_PASSWORD} \  
  -p 8080:8080 \
  ghcr.io/opendatadiscovery/odd-platform:latest

如果是本地环境，请访问localhost:8080

使用Docker Compose在本地运行

docker-compose -f docker/demo.yaml up -d odd-platform-enricher

:point_right: 快速开始

使用Helm Charts部署到Kubernetes

:point_right: 快速开始

示例配置

在**docker/examples目录**中有各种示例配置（通过docker-compose）。

贡献

我们非常欢迎为ODD平台做出贡献。对于基本贡献，您只需熟悉GitHub和Git即可。最佳的贡献方式是：

开发新的适配器
完善文档

为确保平等和积极的交流，我们遵循我们的行为准则。在开始与此仓库进行任何互动之前，请阅读并确保遵守。

在贡献之前，请查看我们的贡献指南和标记为"good first issue"的问题：

<br>

集成

OpenDataDiscovery平台提供全面的数据源支持，以满足您的需求。

<table> <thead> <tr> <th colspan="3">现有集成</th> </tr> </thead> <tbody> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#odd-adapter">代理适配器</a></td> <td><a href="https://github.com/opendatadiscovery/odd-airflow-adapter">Airflow</a></td> <td><a href="https://github.com/opendatadiscovery/odd-airflow-2">Airflow 2+</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#druid">Apache Druid</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#cassandra">Cassandra</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#clickhouse">Clickhouse</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#elasticsearch">Elasticsearch</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#hive">Hive</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#kafka">Kafka</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#feast">Feast</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#mssql">MSSQL</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#mysql">MySQL</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#odbc">Microsoft ODBC</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#mongodb">MongoDB</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#neo4j">Neo4j</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#mariadb">MariaDB</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#oracle">Oracle</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#postgresql">PostgreSQL</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#redshift">Redshift</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#snowflake">Snowflake</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#vertica">Vertica</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#tarantool">Tarantool</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#athena">Athena</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#dynamodb">DynamoDB</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#glue">Glue</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#kinesis">Kinesis</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#quicksight">Quicksight</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#s3">S3</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#sagemaker">SageMaker</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#sagemaker-featurestore">SageMaker Featurestore</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#sqs">SQS</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-aws#s3_delta">Delta lake S3</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#tableau">Tableau</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#cubejs">Cube</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#superset">SuperSet</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-azure#powerbi">PowerBi</a> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#trino">Trino</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#presto">Presto</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#dbt">DBT</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#redash">Redash</a></td> <td><a href="https://github.com/opendatadiscovery/odd-spark-adapter">Spark</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#mlflow">MLflow</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#kubeflow">Kubeflow</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#databricks">Databricks Unity Catalog</a></td> <td><a href="https://github.com/opendatadiscovery/odd-great-expectations">Great Expectations</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#sqlite">SQLite</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#couchbase">Couchbase</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#cockroachdb">Cockroachdb</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#fivetran">Fivetran</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#airbyte">Airbyte</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#metabase">Metabase</a></td> </tr> <tr> <td><a href="https://github.com/opendatadiscovery/odd-collector#mode">Mode</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector-gcp#biquery">BigQuery</a></td> <td><a href="https://github.com/opendatadiscovery/odd-collector#singlestore">Singlestore</a></td> </tr> </tbody> </table> ## ODD数据模型

ODD操作以下几种高级实体类型：

<ol> <li><b>数据集</b>（数据集合：表格、主题、文件、特征组）</li> <li><b>转换器</b>（数据转换器：ETL或机器学习训练作业、实验）</li> <li><b>数据消费者</b>（数据消费者：机器学习模型或商业智能仪表板）</li> <li><b>数据质量测试</b>（用于数据集的数据质量测试）</li> <li><b>数据输入</b>（数据来源）</li> <li><b>转换器运行</b>（ETL或机器学习训练作业的执行）</li> <li><b>质量测试运行</b>（数据质量测试的执行）</li> </ol>

欲了解更多信息，请查看**specification.md**。

社区支持

如果您需要帮助、想聊天或有任何其他问题，欢迎加入我们的社区：

GitHub - 讨论论坛和问题
Slack - 加入对话！获取最新更新并与开发者交流

联系方式

如果您有任何问题或想法，请随时联系我们中的任何一位。

团队成员	LinkedIn	GitHub
German Osin	LinkedIn	germanosin
Nikita Dementev	LinkedIn	DementevNikita
Damir Abdullin	LinkedIn	damirabdul
Alexey Kozyurov	LinkedIn	Leshe4ka
Pavel Makarichev	LinkedIn	vixtir
Roman Zabaluev	LinkedIn	Haarolean