Stable Diffusion WebUI Forge

Stable Diffusion WebUI Forge 是基于 Stable Diffusion WebUI（基于 Gradio <a href='https://github.com/gradio-app/gradio'><img src='https://img.shields.io/github/stars/gradio-app/gradio'></a>）的平台，旨在简化开发、优化资源管理、加快推理速度，并研究实验性功能。

"Forge"这个名字的灵感来自"Minecraft Forge"。本项目的目标是成为 SD WebUI 的 Forge。

Forge 目前基于 SD-WebUI 1.10.1 的这个提交。（由于原始 SD-WebUI 现在几乎处于静态状态，Forge 将每90天与原始 WebUI 同步一次，或在有重要修复时同步。）

新闻

8月15日：Flux BNB NF4 / GGUF Q8/Q5/Q4 现在都原生支持，具有完美的 GPU 权重滑块、队列/异步交换切换和交换位置切换功能。（截至2024年8月15日，没有其他软件具备这些功能）

8月15日：所有 Flux BNB NF4 / GGUF Q8/Q5/Q4 都有完美的原生 LoRA 支持。（截至2024年8月15日，没有其他软件具备这些功能）

安装 Forge

如果你精通 Git，并且想将 Forge 作为 SD-WebUI 的另一个分支安装，请查看这里。这样，你可以重用之前在原始 SD-WebUI 中安装的所有 SD 检查点和扩展，但你应该知道自己在做什么。

如果你知道自己在做什么，你可以使用与 SD-WebUI 相同的方法安装 Forge。（安装 Git、Python，Git 克隆 forge 仓库 https://github.com/lllyasviel/stable-diffusion-webui-forge.git，然后运行 webui-user.bat）。

或者你可以直接使用这个一键安装包（包含 git 和 python）。

>>> 点击这里下载一键安装包（CUDA 12.1 + Pytorch 2.3.1）<<<

其他一些 CUDA/Torch 版本：

Forge with CUDA 12.1 + Pytorch 2.3.1 <- 推荐

Forge with CUDA 12.4 + Pytorch 2.4 <- 最快，但 MSVC 可能会损坏，xformers 可能无法工作

Forge with CUDA 12.1 + Pytorch 2.1 <- 之前使用的旧环境

下载后，解压缩，使用 update.bat 更新，使用 run.bat 运行。

请注意，运行 update.bat 很重要，否则你可能会使用之前的版本，其中可能存在未修复的潜在错误。

以前的版本

你可以在这里下载以前的版本。

Forge 状态

基于逐一手动测试：

如果有任何问题，请随时提出问题，我会每隔几天查看一次。如果我没有更新这个"Forge 状态"，那么意味着我无法重现任何问题。在这种情况下，重新安装应该能解决大多数问题。

UnetPatcher

以下是实现 FreeU V2 的所有代码的自支持单文件。

另见 extension-builtin/sd_forge_freeu/scripts/forge_freeu.py：

import torch
import gradio as gr

from modules import scripts


def Fourier_filter(x, threshold, scale):
    # FFT
    x_freq = torch.fft.fftn(x.float(), dim=(-2, -1))
    x_freq = torch.fft.fftshift(x_freq, dim=(-2, -1))

    B, C, H, W = x_freq.shape
    mask = torch.ones((B, C, H, W), device=x.device)

    crow, ccol = H // 2, W // 2
    mask[..., crow - threshold:crow + threshold, ccol - threshold:ccol + threshold] = scale
    x_freq = x_freq * mask
# IFFT
x_freq = torch.fft.ifftshift(x_freq, dim=(-2, -1))
x_filtered = torch.fft.ifftn(x_freq, dim=(-2, -1)).real

return x_filtered.to(x.dtype)


def patch_freeu_v2(unet_patcher, b1, b2, s1, s2):
    model_channels = unet_patcher.model.diffusion_model.config["model_channels"]
    scale_dict = {model_channels * 4: (b1, s1), model_channels * 2: (b2, s2)}
    on_cpu_devices = {}

    def output_block_patch(h, hsp, transformer_options):
        scale = scale_dict.get(h.shape[1], None)
        if scale is not None:
            hidden_mean = h.mean(1).unsqueeze(1)
            B = hidden_mean.shape[0]
            hidden_max, _ = torch.max(hidden_mean.view(B, -1), dim=-1, keepdim=True)
            hidden_min, _ = torch.min(hidden_mean.view(B, -1), dim=-1, keepdim=True)
            hidden_mean = (hidden_mean - hidden_min.unsqueeze(2).unsqueeze(3)) / (hidden_max - hidden_min).unsqueeze(2).unsqueeze(3)

            h[:, :h.shape[1] // 2] = h[:, :h.shape[1] // 2] * ((scale[0] - 1) * hidden_mean + 1)

            if hsp.device not in on_cpu_devices:
                try:
                    hsp = Fourier_filter(hsp, threshold=1, scale=scale[1])
                except:
                    print("设备", hsp.device, "不支持torch.fft。")
                    on_cpu_devices[hsp.device] = True
                    hsp = Fourier_filter(hsp.cpu(), threshold=1, scale=scale[1]).to(hsp.device)
            else:
                hsp = Fourier_filter(hsp.cpu(), threshold=1, scale=scale[1]).to(hsp.device)

        return h, hsp

    m = unet_patcher.clone()
    m.set_model_output_block_patch(output_block_patch)
    return m


class FreeUForForge(scripts.Script):
    sorting_priority = 12  # 它将是UI上的第12个项目。

    def title(self):
        return "FreeU集成"

    def show(self, is_img2img):
        # 使此扩展在txt2img和img2img标签页中都可见。
        return scripts.AlwaysVisible

    def ui(self, *args, **kwargs):
        with gr.Accordion(open=False, label=self.title()):
            freeu_enabled = gr.Checkbox(label='启用', value=False)
            freeu_b1 = gr.Slider(label='B1', minimum=0, maximum=2, step=0.01, value=1.01)
            freeu_b2 = gr.Slider(label='B2', minimum=0, maximum=2, step=0.01, value=1.02)
            freeu_s1 = gr.Slider(label='S1', minimum=0, maximum=4, step=0.01, value=0.99)
            freeu_s2 = gr.Slider(label='S2', minimum=0, maximum=4, step=0.01, value=0.95)

        return freeu_enabled, freeu_b1, freeu_b2, freeu_s1, freeu_s2

    def process_before_every_sampling(self, p, *script_args, **kwargs):
        # 这将在每次采样之前被调用。
        # 如果您使用高分辨率修复，这将被调用两次。

        freeu_enabled, freeu_b1, freeu_b2, freeu_s1, freeu_s2 = script_args

        if not freeu_enabled:
            return

        unet = p.sd_model.forge_objects.unet

        unet = patch_freeu_v2(unet, freeu_b1, freeu_b2, freeu_s1, freeu_s2)

        p.sd_model.forge_objects.unet = unet

        # 以下代码将在UI上的图像输出下方添加一些日志文本。
        # extra_generation_params不会影响结果。
        p.extra_generation_params.update(dict(
            freeu_enabled=freeu_enabled,
            freeu_b1=freeu_b1,
            freeu_b2=freeu_b2,
            freeu_s1=freeu_s1,
            freeu_s2=freeu_s2,
        ))

        return

另请参阅[Forge的Unet实现](https://github.com/lllyasviel/stable-diffusion-webui-forge/blob/main/backend/nn/unet.py)。

# 建设中

WebUI Forge目前正在进行一些建设，文档/UI/功能可能会随更新而变化。