dpm-solver

DPM-Solver 项目介绍

项目背景

DPM-Solver 是一种专注于扩散概率模型(Deffusion Probabilistic Models, DPM)的高效求解器，能够在大约 10 步内提供快速的 ODE 求解方案。该项目体现在两篇论文中：Neurips 2022 Oral 论文《DPM-Solver: A Fast ODE Solver for Diffusion Probabilistic Model Sampling in Around 10 Steps》和《DPM-Solver++: Fast Solver for Guided Sampling of Diffusion Probabilistic Models》。这些论文由多位学者联合完成，其代码已公开。

核心功能

DPM-Solver 及其改进版本 DPM-Solver++，是一种具有收敛阶数保证的高阶求解器，专为扩散 ODE 设计。它能够不需要额外训练，即可适用于离散时间和连续时间的扩散模型。实验证明，DPM-Solver 能在各种数据集上只需 10 到 20 次函数评估就能生成高质量样本。

应用场景

DPM-Solver 和 DPM-Solver++ 已在多个扩散模型中成功应用，包括：

• DreamStudio 和 StableBoost：利用该工具进行稳定性提升和模型加速。
• Stable-Diffusion-WebUI：广受欢迎的 web 接口，其支持 DPM-Solver 和二次改进版 DPM-Solver++ 的加速求解。
• Diffusers：这是一款被广泛使用的扩散模型库，支持多种建模方法。
• Stable-Diffusion 官方代码：DPM-Solver 被应用于此并能在 Hugging Face 平台上运行，提速两倍。

实现技术

• DPM-Solver 支持各种采样类型：包括无条件采样、分类器指导采样以及无分类器指导采样。
• 采用高阶的单步和多步求解方法，可以提升高分辨率图像的样本质量，尤其是在指导采样下。
• 适配现有的扩散模型，不需要对模型进行重新训练。

使用示例

多种使用场景已通过示例代码展示：

• 稳定扩散 (Stable-Diffusion)：使用 2 阶多步法 DPM-Solver++ 作为默认求解器，通过命令行配置减少推理时间。
• 深度佛洛伊德 (DeepFloyd-IF)：针对不同阶段的模型训练与推理需求，推荐 SDE 版本用于第一阶段，而 ODE 版本则用于后续整型。
• 图像编辑 (DiffEdit)：通过 DPM-Solver 进行的快速样本生成与编辑示例，仅需 20 步。

支持的模型与算法

支持四种类型的扩散模型训练目标，提供强大的指导采样能力。此外，DPM-Solver 实现了两种核心算法：DPM-Solver 和 DPM-Solver++，其中的动态阈值法能进一步提升像素空间 DPM 的样本质量。

代码与文档

详细的代码示例和 API 文档帮助用户快速上手，自定义和加入自己的扩散模型变得易如反掌，支持 Pytorch 和 JAX 框架，给予开发者广泛的灵活性。

总体而言，DPM-Solver 提供了一种高效处理扩散概率模型采样的新方式，实现了不需要额外训练、快速生成高质量样本的目标，适用于广泛的图像合成与编辑任务。通过详细的文档和实例，可以轻松地将这一工具应用于自己的项目中。