|横幅|

网站 <https://www.getdaft.io>_ • 文档 <https://www.getdaft.io/projects/docs/>_ • 安装_ • Daft 10分钟入门 <https://www.getdaft.io/projects/docs/en/latest/learn/10-min.html>_ • 社区和支持 <https://github.com/Eventual-Inc/Daft/discussions>_

Daft：用于多模态数据的分布式数据框

Daft <https://www.getdaft.io>_ 是一个用于大规模数据处理的分布式查询引擎，使用Python编写，并在Rust中实现。

熟悉的交互式API： 用于快速和交互式迭代的延迟计算Python数据框
专注于目标： 强大的查询优化器，能够重写查询以达到最高效率
数据目录集成： 与Apache Iceberg等数据目录完全集成
丰富的多模态类型系统： 支持图像、URL、张量等多模态类型
无缝交互： 基于 Apache Arrow <https://arrow.apache.org/docs/index.html>_ 内存格式构建
为云而生： 与S3云存储集成的 创纪录 <https://blog.getdaft.io/p/announcing-daft-02-10x-faster-io>_ I/O性能

关于Daft_
入门_
基准测试_
相关项目_
许可证_

关于Daft

Daft的设计遵循以下原则：

任何数据： 除了常见的字符串/数字/日期外，Daft列还可以高效地存储复杂或嵌套的多模态数据，如图像、嵌入和Python对象，这得益于其基于Arrow的内存表示。在Daft中，多模态数据的摄取和基本转换非常简单和高效。
交互式计算： Daft专为通过笔记本或REPL进行交互式开发体验而构建 - 智能缓存/查询优化加速了您的实验和数据探索。
分布式计算： 一些工作负载可能很快就会超出本地笔记本电脑的计算资源 - Daft原生集成了 Ray <https://www.ray.io>_，可以在拥有数千个CPU/GPU的大型机器集群上运行数据框。

入门

安装 ^^^^^^^^^^^^

使用 pip install getdaft 安装Daft。

有关更高级的安装（例如，从源代码安装或安装带有Ray和AWS实用程序等额外依赖项），请参阅我们的 安装指南 <https://www.getdaft.io/projects/docs/en/latest/install.html>_

快速入门 ^^^^^^^^^^

查看我们的 10分钟快速入门 <https://www.getdaft.io/projects/docs/en/latest/learn/10-min.html>_！

在这个示例中，我们从AWS S3存储桶的URL加载图像，并在数据框中调整每个图像的大小：

.. code::

import daft

# 从S3存储桶中的文件路径加载数据框
df = daft.from_glob_path("s3://daft-public-data/laion-sample-images/*")

# 1. 将图像URL列下载为字节列
# 2. 将字节列解码为图像列
df = df.with_column("image", df["path"].url.download().image.decode())

# 将每个图像调整为32x32大小
df = df.with_column("resized", df["image"].image.resize(32, 32))

df.show(3)

|快速入门图片|

基准测试

|基准测试图片|

要查看完整的基准测试、详细设置和日志，请查看我们的 基准测试页面 <https://www.getdaft.io/projects/docs/en/latest/faq/benchmarks.html>_。

更多资源 ^^^^^^^^^^^^^^

Daft 10分钟入门 <https://www.getdaft.io/projects/docs/en/latest/learn/10-min.html>_ - 了解Daft的全部功能，包括从URL加载数据、连接、用户定义函数（UDF）、分组、聚合等。
用户指南 <https://www.getdaft.io/projects/docs/en/latest/user_guide/index.html>_ - 深入了解Daft中的每个主题
API参考 <https://www.getdaft.io/projects/docs/en/latest/api_docs/index.html>_ - Daft公共类/函数的API参考

贡献

要开始为Daft贡献代码，请阅读 CONTRIBUTING.md <https://github.com/Eventual-Inc/Daft/blob/main/CONTRIBUTING.md>_

这里有一个 适合初学者的问题列表 <https://github.com/Eventual-Inc/Daft/issues?q=is%3Aopen+is%3Aissue+label%3A%22good+first+issue%22>_，可以帮助你熟悉Daft。在问题中发表评论来认领它，如有任何疑问，随时询问！

遥测

为了帮助改进Daft，我们收集非识别性数据。

要禁用此行为，请设置以下环境变量：DAFT_ANALYTICS_ENABLED=0

我们收集的数据是：

非识别性的： 事件由在导入Daft时生成的会话ID标识
仅元数据： 我们不收集用户的任何专有代码或数据
仅用于开发： 我们不买卖任何用户数据

更多详情请查看我们的 文档 <https://www.getdaft.io/projects/docs/en/latest/faq/telemetry.html>_。 .. image:: https://static.scarf.sh/a.png?x-pxid=cd444261-469e-473b-b9ba-f66ac3dc73ee

相关项目

+---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+ | 数据框架 | 查询优化器 | 多模态 | 分布式 | Arrow 后端 | 向量化执行引擎 | 核外处理 | +===================================================+================+==============+========+=================+====================+==============+ | Daft | 是 | 是 | 是 | 是 | 是 | 是 | +---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+ | Pandas <https://github.com/pandas-dev/pandas>_ | 否 | Python 对象 | 否 | 可选 >= 2.0 | 部分(Numpy) | 否 | +---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+ | Polars <https://github.com/pola-rs/polars>_ | 是 | Python 对象 | 否 | 是 | 是 | 是 | +---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+ | Modin <https://github.com/modin-project/modin>_ | 急切 | Python 对象 | 是 | 否 | 部分(Pandas) | 是 | +---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+ | Pyspark <https://github.com/apache/spark>_ | 是 | 否 | 是 | Pandas UDF/IO | Pandas UDF | 是 | +---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+ | Dask DF <https://github.com/dask/dask>_ | 否 | Python 对象 | 是 | 否 | 部分(Pandas) | 是 | +---------------------------------------------------+----------------+--------------+--------+-----------------+--------------------+--------------+

查看我们的数据框架比较页面 <https://www.getdaft.io/projects/docs/en/latest/faq/dataframe_comparison.html>_以获取更多详细信息！

许可证

Daft 使用 Apache 2.0 许可证 - 请查看 LICENSE 文件。

.. |快速开始图片| image:: https://github.com/Eventual-Inc/Daft/assets/17691182/dea2f515-9739-4f3e-ac58-cd96d51e44a8 :alt: 从 AWS S3 加载文件夹中的图像并创建缩略图的数据框架代码 :height: 256

.. |基准测试图片| image:: https://github-production-user-asset-6210df.s3.amazonaws.com/2550285/243524430-338e427d-f049-40b3-b555-4059d6be7bfd.png :alt: SF100 TPCH 的基准测试

.. |横幅| image:: https://user-images.githubusercontent.com/17691182/190476440-28f29e87-8e3b-41c4-9c28-e112e595f558.png :target: https://www.getdaft.io :alt: Daft 数据框架可以将任何数据（如 PDF 文档、图像、protobufs、csv、parquet 和音频文件）加载到表格数据框架结构中，便于查询

.. |CI| image:: https://github.com/Eventual-Inc/Daft/actions/workflows/python-package.yml/badge.svg :target: https://github.com/Eventual-Inc/Daft/actions/workflows/python-package.yml?query=branch:main :alt: Github Actions 测试

.. |PyPI| image:: https://img.shields.io/pypi/v/getdaft.svg?label=pip&logo=PyPI&logoColor=white :target: https://pypi.org/project/getdaft :alt: PyPI

.. |最新标签| image:: https://img.shields.io/github/v/tag/Eventual-Inc/Daft?label=latest&logo=GitHub :target: https://github.com/Eventual-Inc/Daft/tags :alt: 最新标签

.. |覆盖率| image:: https://codecov.io/gh/Eventual-Inc/Daft/branch/main/graph/badge.svg?token=J430QVFE89 :target: https://codecov.io/gh/Eventual-Inc/Daft :alt: 覆盖率

.. |Slack| image:: https://img.shields.io/badge/slack-@distdata-purple.svg?logo=slack :target: https://join.slack.com/t/dist-data/shared_invite/zt-1t44ss4za-1rtsJNIsQOnjlf8BlG05yw :alt: slack 社区