多功能数据工具包

<p align="center"> <span> 一个框架用于🧑‍💻 开发 </span> <span> ▶️ 部署 </span> <span>和 📊 运营 </span> <br> <span>使用 Python 和 SQL 的数据工作流<span> </p>

<div align="left"> <span>🎯 编写更简短、更易读的代码。 </span><br> </div> <div align="left"> <span>🔄 现成可用的数据 ETL/ELT 模式。 </span><br> </div> <div align="left"> <span>🧩 乐高式可扩展性。 </span><br> </div> <br> <div align="left"> <span>🚀 一键部署。 </span><br> </div> <div align="left"> <span>🛠 操作和监控。 ️</span><br> </div>

<p id="intro" align="center"> <a href="#intro"><img src="https://img.shields.io/badge/VDK%20SDK-blue" alt="VDK SDK 简介"></a> <a href="#ingestion"><img src="https://img.shields.io/badge/数据摄取-lightblue" alt="数据摄取"></a> <a href="#transformation"><img src="https://img.shields.io/badge/数据转换-lightblue" alt="数据转换"></a> <a href="#deployment"><img src="https://img.shields.io/badge/数据作业部署-lightblue" alt="作业部署"></a> <a href="#operations"><img src="https://img.shields.io/badge/数据作业运营-lightblue" alt="作业运营"></a> <a href="#plugins"><img src="https://img.shields.io/badge/乐高式可扩展性-lightblue" alt="可扩展性"></a> <a href="#contributing"><img src="https://img.shields.io/badge/支持与贡献-lightblue" alt="支持与贡献"></a> </p> <h1>VDK SDK 简介</h1> <table width="100%" > <tr> <td width="50%" > <ul> <li>简化数据摄取和数据处理的框架。</li> <li>使用 Python 或 SQL 编写任何代码。</li> <li>使您能够运行数据作业的工具集。</li> </ul> <hr> <p><b>开始使用 VDK SDK：</b></p> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Quickstart-VDK">安装 Quickstart VDK</a>。唯一要求是 Python 3.7+。</span><br> <pre><code class="bash">pip install quickstart-vdk vdk --help</code></pre> <span>➡ 如果您迫不及待想快速开始，请开发您的<a href="https://github.com/vmware/versatile-data-kit/wiki/First-Data-Job">第一个数据作业</a>。</span><br> </td> <td width="50%" > <video controls loop autoplay muted preload="metadata" src="https://github.com/vmware/versatile-data-kit/assets/2536458/1e768ddb-c622-45e2-bfd9-20dd2ae9c1dd" aria-label="30 秒视频教程，介绍入门和 quickstart-vdk 安装"></video> </td> </tr> </table> <br/><br/> <p id="ingestion" align="center"> <a href="#intro"><img src="https://img.shields.io/badge/VDK%20SDK-浅蓝色" alt="VDK SDK简介"></a> <a href="#ingestion"><img src="https://img.shields.io/badge/数据摄取-蓝色" alt="数据摄取"></a> <a href="#transformation"><img src="https://img.shields.io/badge/数据转换-浅蓝色" alt="数据转换"></a> <a href="#deployment"><img src="https://img.shields.io/badge/数据作业部署-浅蓝色" alt="作业部署"></a> <a href="#operations"><img src="https://img.shields.io/badge/数据作业运维-浅蓝色" alt="作业运维"></a> <a href="#plugins"><img src="https://img.shields.io/badge/类乐高式可扩展性-浅蓝色" alt="可扩展性"></a> <a href="#contributing"><img src="https://img.shields.io/badge/支持与贡献-浅蓝色" alt="支持与贡献"></a> </p> <h1>数据摄取</h1> <table width="100%" > <tr> <td width="50%" > <ul> <li>从各种来源（HTTP API、数据库、CSV等）提取数据。</li> <li>通过最少的转换确保数据保真度。</li> <li>将数据加载到您首选的目标（数据库、云存储）。</li> </ul> <hr> <p><b>摄取示例：</b></p> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Ingesting-data-from-REST-API-into-Database">将REST API数据摄取到数据库</a> </span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Ingesting-data-from-DB-into-Database">将数据库数据摄取到数据库</a></span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Ingesting-local-CSV-file-into-Database">将本地CSV文件摄取到数据库</a></span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/blob/main/examples/incremental-ingest-from-db-example/README.md">使用作业属性进行增量摄取</a></span><br> </td> <td width="50%" > <video controls loop muted preload="metadata" src="https://github.com/vmware/versatile-data-kit/assets/2536458/a46a5ecb-63f7-4b4f-9e2d-099e80522dac" aria-label="数据摄取30秒视频教程"></video>  </td> </tr> </table>

<p id="transformation" align="center"> <a href="#intro"><img src="https://img.shields.io/badge/VDK%20SDK-浅蓝色" alt="VDK SDK简介"></a> <a href="#ingestion"><img src="https://img.shields.io/badge/数据摄取-浅蓝色" alt="数据摄取"></a> <a href="#transformation"><img src="https://img.shields.io/badge/数据转换-蓝色" alt="数据转换"></a> <a href="#deployment"><img src="https://img.shields.io/badge/数据作业部署-浅蓝色" alt="作业部署"></a> <a href="#operations"><img src="https://img.shields.io/badge/数据作业运维-浅蓝色" alt="作业运维"></a> <a href="#plugins"><img src="https://img.shields.io/badge/类乐高式可扩展性-浅蓝色" alt="可扩展性"></a> <a href="#contributing"><img src="https://img.shields.io/badge/支持与贡献-浅蓝色" alt="支持与贡献"></a> </p> <h1>数据转换</h1> <table width="100%" > <tr> <td width="50%" > <ul> <li>SQL和Python参数化转换。</li> <li>可扩展的数据建模模板。</li> <li>创建数据集或表作为产品。</li> </ul> <hr> <p><b>开始转换数据：</b></p> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Data-Modeling-Guide:-Treating-Data-as-a-Product">数据建模：将数据视为产品</a> </span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Processing-data-using-SQL-and-local-database">使用SQL和本地数据库处理数据</a></span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/SQL-Data-Processing-templates-examples">使用Kimball仓库模板处理数据</a></span><br> </td> <td width="50%" > <video controls loop muted preload="metadata" src="https://github.com/vmware/versatile-data-kit/assets/2536458/56be0a37-257e-4f9d-a558-afd012715dcb" aria-label="数据转换30秒视频教程"></video>  </td> </tr> </table>

<p id="deployment" align="center"> <a href="#intro"><img src="https://img.shields.io/badge/VDK%20SDK-浅蓝色" alt="VDK SDK简介"></a> <a href="#ingestion"><img src="https://img.shields.io/badge/数据摄取-浅蓝色" alt="数据摄取"></a> <a href="#transformation"><img src="https://img.shields.io/badge/数据转换-浅蓝色" alt="数据转换"></a> <a href="#deployment"><img src="https://img.shields.io/badge/数据作业部署-蓝色" alt="作业部署"></a> <a href="#operations"><img src="https://img.shields.io/badge/数据作业运维-浅蓝色" alt="作业运维"></a> <a href="#plugins"><img src="https://img.shields.io/badge/类乐高式可扩展性-浅蓝色" alt="可扩展性"></a> <a href="#contributing"><img src="https://img.shields.io/badge/支持与贡献-浅蓝色" alt="支持与贡献"></a> </p> <h1>数据作业部署（构建、部署、发布）</h1> <table width="100%" > <tr> <td width="50%" > <span>VDK 控制服务提供 REST API，供用户在 Kubernetes 运行环境中创建、部署、管理和执行数据作业。</span> <ul> <li>调度、打包、依赖管理、部署。</li> <li>执行管理和监控。</li> <li>源代码版本控制和跟踪。快速回滚。</li> <li>使用属性和密钥管理状态和凭证。</li> </ul> <hr> <p><b>开始在控制服务中部署作业：</b></p> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Versatile-Data-Kit-Control-Service#install-locally">使用 vdk server --install 安装本地控制服务</a> </span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Scheduling-a-Data-Job-for-automatic-execution">安排数据作业自动执行</a></span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/wiki/Using-VDK-DAGs-to-orchestrate-data-jobs">使用 VDK DAG 编排数据作业</a></span><br> </td> <td width="50%" > <video controls loop muted preload="metadata" src="https://github.com/vmware/versatile-data-kit/assets/2536458/5bf96910-ff27-4ecf-a631-c0e64e1db249" aria-label="VDK 控制服务 30 秒视频教程"></video>  </td> </tr> </table>

<p id="operations" align="center"> <a href="#intro"><img src="https://img.shields.io/badge/VDK%20SDK-lightblue" alt="VDK SDK 简介"></a> <a href="#ingestion"><img src="https://img.shields.io/badge/数据摄入-lightblue" alt="摄入"></a> <a href="#transformation"><img src="https://img.shields.io/badge/数据转换-lightblue" alt="转换"></a> <a href="#deployment"><img src="https://img.shields.io/badge/数据作业部署-lightblue" alt="作业部署"></a> <a href="#operations"><img src="https://img.shields.io/badge/数据作业运维-blue" alt="作业运维"></a> <a href="#plugins"><img src="https://img.shields.io/badge/乐高式可扩展性-lightblue" alt="可扩展性"></a> <a href="#contributing"><img src="https://img.shields.io/badge/支持与贡献-lightblue" alt="支持与贡献"></a> </p> <h1>运维和监控</h1> <table width="100%" > <tr> <td width="50%" > <ul> <li>使用运维界面监控和排查生产环境中的数据工作负载。</li> <li>数据作业部署或执行期间的错误通知。</li> <li>通过将错误分类为用户错误或平台错误，将错误路由给正确的人员。</li> </ul> <hr> <p><b>开始运维和监控数据作业：</b></p> <span>➡ <a href="https://youtu.be/DLRGCCGUp0U?t=111">Versatile Data Kit UI - 安装和入门</a> </span><br> <span>➡ <a href="https://www.youtube.com/watch?v=9BkAOSvXuUg">VDK 运维用户界面 - Versatile Data Kit</a></span><br> </td> <td width="50%" > <video controls loop muted preload="metadata" src="https://github.com/vmware/versatile-data-kit/assets/2536458/4e4b5677-267d-4b9b-9b61-65ae7623f161" aria-label="VDK 运维界面 30 秒视频教程"></video>  </td> </tr> </table>

<p id="plugins" align="center"> <a href="#intro"><img src="https://img.shields.io/badge/VDK%20SDK-lightblue" alt="VDK SDK 简介"></a> <a href="#ingestion"><img src="https://img.shields.io/badge/数据摄入-lightblue" alt="摄入"></a> <a href="#transformation"><img src="https://img.shields.io/badge/数据转换-lightblue" alt="转换"></a> <a href="#deployment"><img src="https://img.shields.io/badge/数据作业部署-lightblue" alt="作业部署"></a> <a href="#operations"><img src="https://img.shields.io/badge/数据作业运维-lightblue" alt="作业运维"></a> <a href="#plugins"><img src="https://img.shields.io/badge/乐高式可扩展性-blue" alt="可扩展性"></a> <a href="#contributing"><img src="https://img.shields.io/badge/支持与贡献-lightblue" alt="支持与贡献"></a> </p> <h1>乐高式可扩展性</h1> <table width="100%" > <tr> <td width="50%" > <ul> <li>模块化：仅使用所需功能。可扩展：构建缺失功能。</li> <li>使用<code>pip</code>轻松安装任何插件作为Python包。</li> <li>用于增强数据处理、摄取、作业执行和命令行生命周期</li> </ul> <hr> <p><b>开始使用一些VDK插件：</b></p> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/tree/main/projects/vdk-plugins">浏览可用插件</a> </span><br> <span>➡ 值得关注的插件：</span><br> <span>       <a href="https://github.com/vmware/versatile-data-kit/tree/main/projects/vdk-plugins/vdk-lineage#vdk-lineage">使用vdk-lineage跟踪作业血缘关系</a></span><br> <span>       <a href="https://github.com/vmware/versatile-data-kit/tree/main/projects/vdk-plugins/vdk-csv#versatile-data-kit-csv-plugin">使用vdk-csv导入/摄取或导出CSV文件</a></span><br> <span>➡ <a href="https://github.com/vmware/versatile-data-kit/tree/main/projects/vdk-plugins#write-your-own-plugin">编写自己的插件</a></span><br> </td> <td width="50%" > <video controls loop muted preload="metadata" src="https://github.com/vmware/versatile-data-kit/assets/2536458/2fea5d6e-3fe4-475f-91ec-89838f18ebf3" aria-label="VDK插件30秒视频教程"></video> </td> </tr> </table>