taef1

项目介绍 - Tiny AutoEncoder for FLUX.1

项目背景

TAEF1（Tiny AutoEncoder for FLUX.1）是一个非常小巧的自动编码器项目。这个项目延续了FLUX.1的VAE（变分自编码器）中的“潜在API”技术。FLUX.1在实时预览FLUX.1生成过程中的运用具有特别的重要性，能够帮助开发者更好地理解和调试生成过程。

主要功能

TAEF1项目主要提供了.safetensors格式的模型权重版本。项目的设计目的是在轻量化的环境中提供类似于FLUX.1的自动编码功能，其设计紧凑且高效，适用于实时应用。这些小型的自动编码器可以有效帮助在资源有限的环境中进行模型训练和应用。

集成与使用

TAEF1可以无缝集成到Diffusers这样的机器学习框架中。这里简要介绍一下如何在Python环境中使用TAEF1。

使用FluxPipeline类从预训练的FLUX.1模型中获取管道。
将模型的VAE部分替换成TAEF1提供的AutoencoderTiny。
启用顺序CPU卸载，这样有助于在推理过程中更好地管理计算资源。
通过指定的提示文本生成图像结果，并保存图像文件。

以下是一个简单的代码示例，演示了如何使用TAEF1生成一个美味的纽约风味浆果芝士蛋糕的图像：

import torch
from diffusers import FluxPipeline, AutoencoderTiny

pipe = FluxPipeline.from_pretrained(
    "black-forest-labs/FLUX.1-schnell", torch_dtype=torch.bfloat16
)
pipe.vae = AutoencoderTiny.from_pretrained("madebyollin/taef1", torch_dtype=torch.bfloat16)
pipe.enable_sequential_cpu_offload()

prompt = "slice of delicious New York-style berry cheesecake"
image = pipe(
    prompt,
    guidance_scale=0.0,
    num_inference_steps=4,
    max_sequence_length=256,
).images[0]
image.save("cheesecake.png")