stable-cascade

项目简介

Stable Cascade是由Stability AI开发的一款全新的文本生成图像模型，它基于Würstchen架构，是一个具有革新性的AI图像生成项目。这个项目最大的特点是使用了更小的潜在空间来处理图像，这让它在运行速度和训练成本方面都有显著优势。

技术特点

相比于Stable Diffusion使用8倍的压缩比（将1024x1024的图像压缩到128x128），Stable Cascade实现了42倍的压缩比，能够将1024x1024的图像压缩到24x24的尺寸，同时还能保持清晰的图像重建质量。这种高压缩比使得模型在训练成本上比Stable Diffusion 1.5节省了约16倍。

模型架构

Stable Cascade由三个主要组件构成：

• Stage A：负责初始图像压缩（约2000万参数）
• Stage B：进一步压缩处理（可选700M或15亿参数版本）
• Stage C：根据文本提示生成图像（可选10亿或36亿参数版本）

性能评估

根据人工评估结果，Stable Cascade在提示词对齐度和美学质量方面都优于其他主流模型。在30步推理的情况下，它的表现超过了：

• Playground v2（50步推理）
• SDXL（50步推理）
• SDXL Turbo（1步推理）
• Würstchen v2（30步推理）

实用价值

该模型特别适合对效率要求较高的场景应用。它支持多种扩展功能：

• 微调训练
• LoRA适配
• ControlNet控制
• IP-Adapter接入
• LCM优化等

使用限制

模型目前主要用于研究目的，适用于：

• 生成模型研究
• 模型安全部署研究
• 艺术创作和设计
• 教育工具开发

但需注意以下限制：

• 人脸和人物生成可能存在不准确
• 图像自动编码过程会有一定损失
• 不应用于生成事实性或真实性内容

部署要求

使用bfloat16数据类型需要PyTorch 2.2.0或更高版本。如果无法满足该要求，用户可以使用float16数据类型，并下载完整精度或bf16变体权重后转换为float16格式使用。