stable-cascade-prior

Stable Cascade Prior 项目介绍

项目概述

Stable Cascade Prior 是一个基于图像生成的扩散模型，由 Stability AI 开发和资助。它主要用于根据文本提示生成图像，本质上是一种文本到图像的生成模型。与其他类似 Stable Diffusion 的模型相比，Stable Cascade Prior 的一个显著特征是其工作在一个更小的潜在空间中。这种设置使得模型在推理时速度更快，训练成本更低。这种高效模型尤其适用于对效率要求高的场景。此外，模型还支持多种已知扩展方法，如微调、LoRA、ControlNet、IP-Adapter、LCM等。

模型细节

模型描述

Stable Cascade 属于生成型的文本到图像模型。该模型的训练涉及三个阶段：A、B 和 C，其中每个阶段都有其特定功能：

• Stage A 和 B：用于压缩图像，相当于 Stable Diffusion 中的 VAE（变分自编码器），但其图像压缩效率更高。
• Stage C：负责根据文本提示生成小型的 24x24 的潜在变量。

在此设置中，Stable Cascade 能够将 1024x1024 的图像压缩到 24x24 的潜在空间中，并确保图像的高精度重构。这种超高的压缩率不仅降低了培训和推理成本，还保持了一定图像质量。当前版本提供了 Stage C 的两个检查点（1 亿参数和 3.6 亿参数），以及 Stage B 的两个版本（7000 万和 1.5 亿参数）。

模型性能评估

根据模型评估结果，Stable Cascade 在几乎所有比较中，无论是对提示的响应能力还是美学质量方面，表现都非常出色。特别是在 30 次推理步骤下的表现。

代码示例

相关代码示例展示了如何使用 Stable Cascade 进行图像生成，包括对模型的预置、推断过程及结果保存等。项目建议用户确保在环境中安装 PyTorch 2.2.0 或更高版本，以充分利用特定数据类型。

用途

直接使用

目前，Stable Cascade 模型主要用于研究目的。研究方向包括：

• 生成模型的原理研究。
• 带有潜在生成有害内容可能的模型安全部署。
• 探索生成模型的局限性和偏差。
• 在艺术与设计创作中的应用等。

超出范围的使用

Stable Cascade 未被训练用于生成真实的人物或事件的准确表示。因此，使用模型生成此类内容超出了其能力范围。此外，在任何违反 Stability AI 可接受使用政策的情况下不应使用该模型。

模型的局限性和偏差

• 人物尤其是面部图像可能无法正确生成。
• 模型的自动编码部分存在损耗。

如何开始

有关如何开始使用 Stable Cascade，请参考其 GitHub 仓库：https://github.com/Stability-AI/StableCascade

Stable Cascade 项目以更高效和经济的方式实现了图像的生成和处理，是对当前生成模型技术的重要拓展和创新。通过更高效的图像压缩和生成过程，它为需要快速结果的应用提供了强有力的支持，是研究者和开发者值得关注的新工具。