ColorfulXL-Lightning

ColorfulXL-Lightning项目介绍

ColorfulXL-Lightning是一个基于文本生成图像的扩散模型，它在ColorfulXL基础上进行了优化，具备闪电般的生成能力。这个项目适用于文本到图像的转化，它的主要特点包括：

• 对图像美学进行了微调。
• 使用了从512到1280的Unet进行训练，共经历了64个步骤。
• 文本编码器经过训练，能很好地理解提示信息。
• 使用自定义的VAE（变分自编码器）。
• 与来自字节跳动的2、4、8步闪电Unets（代号Supermario）合并。
• 可以生成纯白色或纯黑色的图像，同时保持模型的真实色彩。

支持的分辨率范围

ColorfulXL-Lightning支持多种分辨率，从576到1280之间。例如，图像大小为576*832的样本展示了模型的效果。尽管在生成手部和面部细节时可能存在问题，但这可以被解释为一种艺术风格。

使用方法

用户可以通过以下示例代码在本地进行使用：

from diffusers import DiffusionPipeline
from diffusers import EulerDiscreteScheduler
import torch

pipeline = DiffusionPipeline.from_pretrained("recoilme/ColorfulXL-Lightning", torch_dtype=torch.float16,variant="fp16", use_safetensors=True).to("cuda")
pipeline.scheduler = EulerDiscreteScheduler.from_config(pipeline.scheduler.config, timestep_spacing="trailing")

prompt = "girl sitting on a small hill looking at night sky, fflix_dmatter, back view, distant exploding moon, nights darkness, intricate circuits and sensors, photographic realism style, detailed textures, peacefulness, mysterious."
height = 1024
width = 1024
steps = 3
scale = 0
seed = 2139965163
generator = torch.Generator(device="cpu").manual_seed(seed)

image = pipeline(
            prompt = prompt,
            height=height,
            width=width,
            guidance_scale=scale,
            num_inference_steps=steps,
            generator=generator,
        ).images[0]
image.show()
image.save("girl.png")

详细信息

• 开发者: AiArtLab
• 模型类型: 基于扩散技术的文本到图像生成模型
• 许可证: 禁止用于API服务，需要商业授权或定制模型请联系 vadim-kulibaba@yandex.ru

使用范围

直接使用

• 艺术作品的创作及设计。
• 教育和创造性工具应用。
• 生成模型的研究。
• 研究生成模型的局限性和偏差。

不适用范围

• 模型未被设计用于生成真实人物或事件的准确表述，因此不适用于相关内容的生成。

限制与偏见

局限性

• 无法实现完全的照片级逼真。
• 无法生成可读的文本。
• 难以处理复杂的构图任务。
• 人物面部可能无法正常生成。
• 自编码部分具有损耗。

偏见 尽管图像生成模型具有令人印象深刻的能力，但在某些情况下可能会加剧社会偏见。

联系方式

如有关于模型的问题和建议，请访问 AiArtLab。如需商业合作，请访问 Telegram。对于最新消息，请关注 Discord。