sd-webui-controlnet: 强大的Stable Diffusion WebUI扩展

sd-webui-controlnet简介

sd-webui-controlnet是一个为AUTOMATIC1111的Stable Diffusion WebUI设计的扩展插件。它允许用户在生成图像时,将ControlNet和其他基于注入的SD控制方法添加到原始的Stable Diffusion模型中,从而实现更精确的图像生成控制。

这个扩展的主要特点是可以即时添加ControlNet,无需合并模型,使用非常方便。通过sd-webui-controlnet,用户可以利用各种控制方法来引导Stable Diffusion的图像生成过程,比如使用边缘图、深度图、姿势等作为条件。

最新功能更新

sd-webui-controlnet团队一直在积极开发新功能,以下是最近的一些重要更新:

• 🔥 ControlNet union 模型支持
• 🔥 Depth Anything V2 - UDAV2 深度预处理器
• 🔥 Anyline 预处理器 & MistoLine SDXL 模型
• 🔥 PuLID 功能
• 🔥 ControlNet/IPAdapter 的有效区域蒙版支持
• 🔥 ControlNet-lllite Normal Dsine 发布
• 🔥 IPAdapter 高级权重 [即时风格]
• 🔥 Marigold 深度预处理器
• 🔥 ControlNet++ 模型发布
• 🔥 TTPLanet_SDXL_Controlnet_Tile_Realistic v2 发布
• 🔥 IP-Adapter CLIP 蒙版和 ip-adapter-auto 预处理器
• 🔥 IPAdapter Composition 功能

这些新功能大大增强了sd-webui-controlnet的功能,为用户提供了更多的创作可能性。

安装方法

要安装sd-webui-controlnet,请按以下步骤操作:

1. 打开Stable Diffusion WebUI的"扩展"选项卡。
2. 在该选项卡中打开"从URL安装"。
3. 在"扩展的git仓库URL"中输入 https://github.com/Mikubill/sd-webui-controlnet.git。
4. 点击"安装"按钮。
5. 等待约5秒,你会看到"已安装到 stable-diffusion-webui\extensions\sd-webui-controlnet。使用已安装选项卡重启"的消息。
6. 转到"已安装"选项卡,点击"检查更新",然后点击"应用并重启UI"。(以后你也可以使用这些按钮来更新ControlNet。)
7. 完全重启A1111 webui,包括你的终端。(如果你不知道什么是"终端",可以重启电脑来达到同样的效果。)
8. 下载模型(见下文)。
9. 将模型放入正确的文件夹后,你可能需要刷新才能看到这些模型。刷新按钮在你的"模型"下拉菜单右侧。

下载模型

你可以在这里找到所有可下载的模型链接。这些模型是使用sd-webui-controlnet的关键,它们包含了各种不同类型的控制网络,可以用于不同的图像生成任务。

ControlNet 1.1的特性

完美支持所有ControlNet 1.0/1.1和T2I Adapter模型

sd-webui-controlnet现在完美支持所有可用的模型和预处理器,包括对T2I风格适配器和ControlNet 1.1 Shuffle的完美支持。(请确保你的YAML文件名和模型文件名相同,参见"stable-diffusion-webui\extensions\sd-webui-controlnet\models"中的YAML文件。)

完美支持A1111高分辨率修复

现在,如果你在A1111中开启高分辨率修复,每个controlnet将输出两个不同的控制图像:一个小的和一个大的。小的用于基本生成,大的用于高分辨率修复生成。这两个控制图像是由一个名为"超高质量控制图像重采样"的智能算法计算的。这个功能默认开启,你无需更改任何设置。

完美支持所有A1111 Img2Img或Inpaint设置和所有蒙版类型

ControlNet现在经过广泛测试,支持A1111的不同类型的蒙版,包括"Inpaint masked"/"Inpaint not masked",以及"Whole picture"/"Only masked",和"Only masked padding"&"Mask blur"。调整大小完全匹配A1111的"Just resize"/"Crop and resize"/"Resize and fill"。这意味着你可以在A1111 UI的几乎任何地方使用ControlNet,而不会遇到困难!

新的"像素完美"模式

现在,如果你开启像素完美模式,你就不需要手动设置预处理器(标注器)分辨率。ControlNet会自动为你计算最佳的标注器分辨率,使每个像素都完美匹配Stable Diffusion。

用户友好的GUI和预处理器预览

我们重新组织了一些之前令人困惑的UI,比如"新画布的画布宽度/高度",现在它在📝按钮中。现在预览GUI由"允许预览"选项和触发按钮💥控制。预览图像大小比以前更好,你不需要上下滚动 - 你的a1111 GUI不会再乱七八糟了!

支持几乎所有的放大脚本

ControlNet 1.1现在可以支持几乎所有的放大/平铺方法。ControlNet 1.1支持"Ultimate SD upscale"脚本和几乎所有其他基于平铺的扩展。请不要将"Ultimate SD upscale"与"SD upscale"混淆 - 它们是不同的脚本。注意,最推荐的放大方法是"Tiled VAE/Diffusion",但我们尽可能测试了许多方法/扩展。

更多控制模式(以前称为猜测模式)

我们修复了之前1.0版本猜测模式中的许多错误,现在它被称为控制模式。

现在你可以控制哪个方面更重要(你的提示词还是你的ControlNet):

• "平衡": ControlNet在CFG尺度的两侧,与在ControlNet 1.0中关闭"猜测模式"相同。
• "我的提示词更重要": ControlNet在CFG尺度的两侧,但SD U-Net注入逐步减少(layer_weight*=0.825**I,其中0<=I<13,13意味着ControlNet注入SD 13次)。通过这种方式,你可以确保你的提示词在生成的图像中完美显示。
• "ControlNet更重要": ControlNet仅在CFG尺度的条件侧(A1111的batch-cond-uncond中的cond)。这意味着如果你的cfg-scale是X,那么ControlNet将会X倍强。例如,如果你的cfg-scale是7,那么ControlNet就会强7倍。注意,这里的X倍强与"控制权重"不同,因为你的权重没有被修改。这种"更强"的效果通常有更少的伪影,并给ControlNet更多空间来猜测你的提示词中缺少的内容(在之前的1.0版本中,它被称为"猜测模式").

仅参考控制

现在我们有了一个reference-only预处理器,它不需要任何控制模型。它可以直接使用图像作为参考来指导扩散过程。

(提示词 "一只狗在草地上奔跑,最佳质量, ...")

这种方法类似于基于修复的参考,但它不会使你的图像变得混乱。