fondant

项目介绍：Fondant

Fondant 是一个数据框架，旨在促进联合构建数据集的能力。它专为合作开发和制作数据集设计，鼓励共享可复用的操作以及完整的数据处理流程。Fondant 允许用户初始化数据集，对其应用各种操作，并从其他用户加载数据集，便利了共享操作和数据集版本管理，而这一切都可以在无需移动源数据的情况下进行。

背景与优势

Fondant 的出现旨在解决数据处理中复杂协作的难题。通过 Fondant，用户能够在多个云服务上管理和执行数据操作，使得数据处理过程简单化，且极具分享性。

开始使用 Fondant

使用 Fondant 可以轻松定义由复用组件和自定义组件组成的工作流。比如，用户可以利用 load_from_hf_hub 组件从 Hugging Face Hub 中加载数据集，并通过自定义组件处理这些数据（如调整图像大小），最终生成新的数据集。

import pyarrow as pa
from fondant.dataset import Dataset

# 从 Hugging Face Hub 加载数据初始化数据集
raw_data = Dataset.create(
    "load_from_hf_hub",
    arguments={
        "dataset_name": "fondant-ai/fondant-cc-25m",
        "n_rows_to_load": 100,
    },
    produces={
        "alt_text": pa.string(),
        "image_url": pa.string(),
        "license_location": pa.string(),
        "license_type": pa.string(),
        "webpage_url": pa.string(),
        "surt_url": pa.string(),
        "top_level_domain": pa.string(),
    },
)

# 从 URL 下载图像
images = raw_data.apply(
    "download_images",
    arguments={
        "input_partition_rows": 100,
        "resize_mode": "no",
    },
)

# 调整图像大小
dataset = images.apply(
    "resize_images",
    arguments={
        "resize_width": 128,
        "resize_height": 128,
    },
)

运行你的流水线

一旦建立好流水线，用户可以通过内置的命令行接口轻松运行和编译：

fondant run local pipeline.py

用户可通过 fondant --help 命令了解所有可用的命令和参数。

Fondant 的运作原理

数据集：Fondant 的核心构建块是数据集，一个数据集由多个列组成。用户可以通过处理现有数据集，创建新的数据集。Fondant 优化了数据传输过程，并能根据需要加载和储存列，同时进行分区处理。
操作：对数据集进行的操作会生成新的数据集。操作可包括加载、过滤、新增列等操作，这些操作是可以共享的，便于在其他工作流中复用。
可共享的树形结构：数据集是经过多个操作处理的结果，包含完整的处理历史，用户可以根据现有数据集进行扩展或创建分支。