ComfyUI的平铺扩散和VAE

更多信息请查看SD-WebUI扩展。

该扩展通过以下技术实现了在有限显存下进行大图绘制和放大：

两种最先进的扩散平铺算法：Mixture of Diffusers <a href="https://arxiv.org/abs/2302.02412"><img width="32" alt="Mixture of Diffusers论文" src="https://github.com/shiimizu/ComfyUI-TiledDiffusion/assets/54494639/b753b7f6-f9c0-405d-bace-792b9bbce5d5"></a>和MultiDiffusion <a href="https://arxiv.org/abs/2302.08113"><img width="32" alt="MultiDiffusion论文" src="https://github.com/shiimizu/ComfyUI-TiledDiffusion/assets/54494639/b753b7f6-f9c0-405d-bace-792b9bbce5d5"></a>
pkuliyi2015和Kahsolt的平铺VAE算法。
~~pkuliyi2015和Kahsolt的平铺噪声反演算法，用于更好的放大效果。~~

[!注意]
尺寸/维度以像素为单位，然后转换为潜空间大小。

功能

平铺扩散

[!提示]
将tile_overlap设为0，denoise设为1可以看到瓦片接缝，然后根据需要调整选项。同时，增加tile_batch_size可以提高速度（如果您的机器能够处理）。

名称	描述
`method`	平铺策略。`MultiDiffusion`或`Mixture of Diffusers`。
`tile_width`	瓦片宽度
`tile_height`	瓦片高度
`tile_overlap`	瓦片重叠
`tile_batch_size`	批处理的瓦片数量

如何指定瓦片排列？

如果您有数学表达式节点（或类似的节点），可以使用它来传入KSampler中的潜在表示，并将tile_height/tile_width除以您想要的行数/列数。

C = 您想要的列数
R = 您想要的行数

输入图像或潜在表示的像素宽度 // C = tile_width
输入图像或潜在表示的像素高度 // R = tile_height

平铺VAE

创建节点时会根据可用显存给出推荐的瓦片大小。

[!注意]
对解码器启用fast可能会产生对比度和亮度略高的图像。

名称	描述
`tile_size`	<blockquote>图像被分割成瓦片，然后在解码器/编码器中用11/32像素进行填充。</blockquote>
`fast`	<blockquote><p>当快速模式禁用时：</p> <ol> <li>原始VAE前向过程被分解为任务队列和任务工作器，开始处理每个瓦片。</li> <li>当需要GroupNorm时，它会暂停，存储当前GroupNorm均值和方差，将所有内容发送到RAM，然后转到下一个瓦片。</li> <li>在所有GroupNorm均值和方差汇总后，它对瓦片应用组归一化并继续。</li> <li>使用之字形执行顺序以减少不必要的数据传输。</li> </ol> <p>当快速模式启用时：</p> <ol> <li>原始输入被下采样并传递到单独的任务队列。</li> <li>记录其组归一化参数并用于所有瓦片的任务队列。</li> <li>每个瓦片单独处理，无需RAM-VRAM数据传输。</li> </ol> <p>处理完所有瓦片后，瓦片被写入结果缓冲区并返回。</p></blockquote>
`color_fix`	<blockquote>仅在下采样前估计GroupNorm，即以半快速模式运行。</blockquote><p>仅适用于编码器。当瓦片太小时可以恢复颜色。</p>

工作流程

以下图像可以在ComfyUI中加载。

引用

@article{jimenez2023mixtureofdiffusers,
  title={Mixture of Diffusers for scene composition and high resolution image generation},
  author={Álvaro Barbero Jiménez},
  journal={arXiv preprint arXiv:2302.02412},
  year={2023}
}

@article{bar2023multidiffusion,
  title={MultiDiffusion: Fusing Diffusion Paths for Controlled Image Generation},
  author={Bar-Tal, Omer and Yariv, Lior and Lipman, Yaron and Dekel, Tali},
  journal={arXiv preprint arXiv:2302.08113},
  year={2023}
}