MultiDiffusion

项目介绍：MultiDiffusion

MultiDiffusion项目是一种创新的图像生成框架，旨在通过融合扩散路径，实现更具多样性和可控性的图像生成。该项目在不需要经过任何再训练或微调的情况下，通过利用预训练的文本到图像扩散模型，达到了这一目标。MultiDiffusion框架是基于一种新的生成过程，以一个优化任务为核心，将多个扩散生成过程结合在一起，共享一组参数或约束。

背景与挑战

近年来，文本到图像生成领域取得了显著进展，利用扩散模型生成的图像质量达到了一个新的高度。然而，用户在生成图像时的可控性以及对新任务的快速适应能力依然是亟待解决的挑战。目前，大多数图像生成任务需要耗费大量时间和资源进行再训练或微调，而MultiDiffusion提供了一种高效解决此问题的方法。

主要功能

MultiDiffusion的主要特点在于其高度的可控性。该框架允许用户指定图像的期望长宽比（例如，全景图）以及空间引导信号，这些信号可以是从严格的分割掩码到边界框等多种形式。这种功能使得MultiDiffusion在提供用户所需的图像生成效果方面具有极大的灵活性和多样性。

Diffusers 集成

MultiDiffusion的Text2Panorama功能被成功集成到Diffusers库中，用户可以通过简单的代码调用来生成图像。以下是调用代码示例：

import torch
from diffusers import StableDiffusionPanoramaPipeline, DDIMScheduler

model_ckpt = "stabilityai/stable-diffusion-2-base"
scheduler = DDIMScheduler.from_pretrained(model_ckpt, subfolder="scheduler")
pipe = StableDiffusionPanoramaPipeline.from_pretrained(
     model_ckpt, scheduler=scheduler, torch_dtype=torch.float16
)

pipe = pipe.to("cuda")

prompt = "a photo of the dolomites"
image = pipe(prompt).images[0]