Unity Catalog：开放式多模态数据和 AI 目录

Unity Catalog 是业界唯一的通用数据和 AI 目录。

• 多模态接口支持任何格式、引擎和资产
  • 多格式支持：它是可扩展的，通过 UniForm 支持 Delta Lake、Apache Iceberg 和 Apache Hudi，以及 Apache Parquet、JSON、CSV 等多种格式。
  • 多引擎支持：通过其开放 API，Unity 中编目的数据可以被许多领先的计算引擎读取。
  • 多模态：它支持所有数据和 AI 资产，包括表格、文件、函数、AI 模型。
• 开源 API 和实现 - OpenAPI 规范和开源软件实现（Apache 2.0 许可证）。它还兼容 Apache Hive 的元数据存储 API 和 Apache Iceberg 的 REST 目录 API。Unity Catalog 目前是 LF AI 和数据基金会（Linux 基金会的一部分）的沙盒项目。
• 统一的数据和 AI 治理 - 通过单一界面管理和保护表格数据、非结构化资产和 AI 资产。

Unity Catalog 的首次发布重点关注表格、非结构化数据和 AI 资产的核心 API 集 - 更多关于治理、访问和客户端互操作性的内容即将推出。这仅仅是个开始！

充满活力的生态系统

这是一项社区努力。Unity Catalog 得到以下公司的支持：

[列出所有支持的公司名称，保持原文]

Unity Catalog 很荣幸由 LF AI & Data 基金会托管。

快速入门 - Hello UC！

让我们来体验一下 Unity Catalog。在本指南中，我们将执行以下操作：

• 在一个终端中运行 UC 服务器。
• 在另一个终端中，我们将使用 CLI 探索 UC 服务器的内容。 提供了一个示例项目，用于演示如何使用 UC SDK 处理各种资产，并提供了一种方便的方式来探索任何 UC 服务器实现的内容。

先决条件

您需要确保本地环境具备以下条件：

• 克隆此存储库。
• 确保终端中的 JAVA_HOME 环境变量配置为指向 JDK17。
• 使用 build/sbt package 编译项目

如果您更喜欢使用 Unity Catalog 的 Docker 化环境运行，请参阅 Docker README.md

运行 UC 服务器

在终端中，在克隆的存储库根目录下，启动 UC 服务器。

bin/start-uc-server

对于剩余的步骤，请在另一个终端中继续。

使用 CLI 操作 Delta 表

让我们列出表格。

bin/uc table list --catalog unity --schema default

您应该看到几个表格。由于数据的嵌套性质，一些细节被截断了。要查看所有内容，您可以在任何命令中添加 --output jsonPretty。

接下来，让我们获取其中一个表格的元数据。

bin/uc table get --full_name unity.default.numbers

您可以看到它是一个 Delta 表。现在，特别是对于 Delta 表，此 CLI 可以打印 Delta 表内容的片段（由 Delta Kernel Java 项目提供支持）。让我们试试。

bin/uc table read --full_name unity.default.numbers

使用 DuckDB 操作 Delta 表

要使用DuckDB操作表格，你需要安装它（至少1.0版本）。 让我们启动DuckDB并安装几个扩展。在终端中运行命令duckdb来启动DuckDB。 然后，在DuckDB shell中运行以下命令：

install uc_catalog from core_nightly;
load uc_catalog;
install delta;
load delta;

如果你之前安装过这些扩展，可能需要运行update extensions并重启DuckDB，以确保接下来的步骤正常工作。

现在我们已经设置好了DuckDB，让我们尝试通过指定密钥来连接UC。

CREATE SECRET (
      TYPE UC,
      TOKEN 'not-used',
      ENDPOINT 'http://127.0.0.1:8080',
      AWS_REGION 'us-east-2'
 );

你应该会看到一个简短的表格，显示Success = true。然后我们将unity目录附加到DuckDB。

ATTACH 'unity' AS unity (TYPE UC_CATALOG);

现在我们准备好进行查询了。尝试以下操作：

SHOW ALL TABLES;
SELECT * from unity.default.numbers;

你应该能看到列出的表格和numbers表的内容。 要退出DuckDB，按Ctrl+D（如果你的平台支持），按Ctrl+C，或在DuckDB shell中使用.exit命令。

CLI教程

你可以通过CLI与Unity Catalog服务器交互，创建和管理目录、架构和表格，操作卷和函数等等。 更多详情请参见cli使用说明。

API和兼容性

• 开放API规范：Unity Catalog Rest API的文档在这里。
• 兼容性和稳定性：API目前正在演进中，不应假定它们是稳定的。

部署

• 要创建可用于部署UC服务器或运行CLI的tarball，请运行以下命令：

  build/sbt createTarball

  这将在target目录中创建一个tarball。完整的部署指南有更多详细信息。

编译和测试

• 通过适合你系统的方式安装JDK 17，并将该版本设置为默认Java版本（例如通过环境变量JAVA_HOME）
• 要编译所有代码但不运行测试，请运行以下命令：

  build/sbt clean compile

• 要编译并执行测试，请运行以下命令：

  build/sbt clean test

• 要执行带覆盖率的测试，请运行以下命令：

  build/sbt jacoco 

• 要更新API规范，只需更新api/all.yaml然后运行以下命令：

  build/sbt generate

  这将重新生成UC服务器中的OpenAPI数据模型以及客户端SDK中的数据模型和API。
• 要格式化代码，请运行以下命令：

  build/sbt javafmtAll

设置IDE

IntelliJ是开发Unity Catalog时推荐使用的IDE。以下步骤概述了如何将项目添加到IntelliJ：

1. 将Unity Catalog克隆到本地文件夹，如~/unitycatalog。
2. 选择File > New Project > Project from Existing Sources...并选择~/unitycatalog。
3. 在Import project from external model下选择sbt。点击Next。
4. 点击Finish。

Java代码遵循Google风格，在构建过程中通过build/sbt javafmtCheckAll进行验证。 为了自动修复Java代码风格问题，请使用build/sbt javafmtAll。

为Eclipse/IntelliJ配置代码格式化器

按照Eclipse或IntelliJ的说明安装google-java-format插件（注意IntelliJ需要手动操作）。

使用更新的JDK

构建脚本检查JDK的下限，但当前的SBT版本设定了上限。请查看JDK兼容性文档以获取更多信息。

使用mkdocs提供文档

创建虚拟环境：

# 创建虚拟环境
python -m venv uc_docs_venv

# 激活虚拟环境（Linux/macOS）
source uc_docs_venv/bin/activate

# 激活虚拟环境（Windows）
uc_docs_venv\Scripts\activate

安装所需依赖：

pip install -r requirements-docs.txt

然后使用以下命令提供文档：

mkdocs serve