<!--- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regarding copyright ownership. The ASF licenses this file to you under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. -->

Apache DataFusion

网站 | 指南 | API 文档 | 聊天

<img src="https://yellow-cdn.veclightyear.com/87312a0a/3d71b4e5-f7df-4846-a2b0-3d396ad109c0.png" width="512" alt="logo"/>

Apache DataFusion 是一个非常快速、可扩展的查询引擎，用于使用 Apache Arrow 内存格式在 Rust 中构建高质量的数据中心系统。Python 绑定也可用。DataFusion 提供 SQL 和 DataFrame API，出色的性能，内置支持 CSV、Parquet、JSON 和 Avro，广泛的自定义选项，以及一个优秀的社区。

以下是一些重要信息的链接：

• 项目网站
• 安装
• Rust 入门
• Rust DataFrame API
• Rust API 文档
• Rust 示例
• Python DataFrame API
• 架构

你可以用这个 crate 做什么？

DataFusion 非常适合构建特定领域的查询引擎、新的数据库平台和数据管道、查询语言等项目。它让你可以从一个完全可用的引擎快速开始，然后自定义适合你用例的特定功能。点击这里查看已知用户列表。

为 DataFusion 做贡献

请查看贡献者指南和交流页面了解更多信息。

Crate 功能

这个 crate 有几个可以在你的 Cargo.toml 中指定的功能。

默认功能：

• nested_expressions：用于处理嵌套类型函数的功能，如 array_to_string
• compression：读取用 xz2、bzip2、flate2 和 zstd 压缩的文件
• crypto_expressions：加密函数，如 md5 和 sha256
• datetime_expressions：日期和时间函数，如 to_timestamp
• encoding_expressions：encode 和 decode 函数
• parquet：支持读取 Apache Parquet 格式
• regex_expressions：正则表达式函数，如 regexp_match
• unicode_expressions：包括支持 Unicode 的函数，如 character_length
• unparser：支持将 LogicalPlan 转回 SQL

可选功能：

• avro：支持读取 Apache Avro 格式
• backtrace：在错误消息中包含回溯信息
• pyarrow：PyArrow 和 DataFusion 类型之间的转换
• serde：启用 arrow-schema 的 serde 功能

Rust 版本兼容性策略

DataFusion 的最低要求稳定 Rust 版本（MSRV）策略是在每个稳定 Rust 版本发布后支持 6 个月。这通常意味着支持最近 3 到 4 个稳定的 Rust 版本。

我们使用 MSRV CI 检查来强制执行这一策略。