LakeSoul

LakeSoul 项目介绍

LakeSoul 是一个云原生的开源数据湖框架，致力于提供高效的元数据管理、ACID事务支持、灵活的增改操作、模式演化以及流批一体处理能力。LakeSoul 支持多种计算引擎，包括 Spark、Flink、Presto 和 PyTorch，可以灵活地进行批处理、流处理、大规模并行处理和人工智能计算。它还兼容多种存储系统，如 HDFS 和 S3。

项目背景

LakeSoul 最初由 DMetaSoul 公司创建，并在 2023 年 5 月捐赠给 Linux 基金会的人工智能与数据组，成为它的一个沙盒项目。

核心功能

元数据管理和事务支持：通过使用 PostgreSQL，LakeSoul 实现了可扩展的元数据管理和 ACID 事务控制。
增补操作和并发更新：采用类似于 LSM-Tree 的结构支持基于哈希分区表的更新，并实现高效的写入吞吐量。
多计算框架支持：通过使用 C/Java/Python 接口，支持与大数据和人工智能框架的连接。
数据隔离和权限管理：支持多工作空间和基于 PostgreSQL 的访问控制，并结合 Hadoop 用户和组来实现物理数据隔离。
数据清理和维护自动化：支持自动分层压缩、表生命周期维护和冗余数据清理以降低运营成本。

技术特性

实时数据仓库构建：支持 CDC 语义和自动模式演化，具有精确一次处理保证。
多种计算模式支持：支持批处理和流处理的并发读写。
快照读取和回滚：允许进行快照读取（时间旅行）、快照回滚以及增量查询。
与多种工具的集成：
- Spark 集成，提供 Dataframe 和 SQL 支持。
- Flink 集成，支持 CDC（变更数据捕获）流式摄取。
- Hive 集成和实时数据仓库功能，支持 Apache Kyuubi。