amused-256

项目介绍：amused-256

项目背景

amused-256是基于muse架构的轻量级文本到图像生成模型。相比于其他模型，amused的优势在于其低运算资源需求和快速生成能力，特别适合需要快速批量生成图像的应用场景。该模型通过复杂的架构设计实现了高效的图像生成，主要涵盖文本编码、图像解码等环节。

模型架构

amused由三个独立训练的组件组成：

CLIP-L/14文本编码器：用于将文本转化为计算机可以处理的特征表示。
VQ-GAN：负责将图像编码为一种更小的潜在表示，以减少计算复杂度。
U-ViT：在推理阶段逐步预测所有被掩码的图像象素值。

这个模型通过三层结构协同工作，加速了文本到图像生成的过程，并确保了最终图像的质量。

使用说明

文本到图像

amused提供两种分辨率的模型：256x256和512x512。以256x256的模型为例，用户可以通过以下代码生成图像：

import torch
from diffusers import AmusedPipeline

pipe = AmusedPipeline.from_pretrained(
    "huggingface/amused-256", variant="fp16", torch_dtype=torch.float16
)
pipe.vqvae.to(torch.float32)
pipe = pipe.to("cuda")

prompt = "cowboy"
image = pipe(prompt, generator=torch.Generator('cuda').manual_seed(8)).images[0]
image.save('text2image_256.png')