Regional Prompter: 掌控Stable Diffusion图像生成的区域提示工具

在Stable Diffusion的AI图像生成领域,如何精确控制图像的不同区域一直是创作者们关注的焦点。Regional Prompter作为AUTOMATIC1111的stable-diffusion-webui的一个强大扩展插件,为这一需求提供了完美的解决方案。本文将全面介绍Regional Prompter的功能特性、使用方法及应用技巧,帮助读者充分发挥这一工具的潜力,创作出更加精细和富有创意的AI图像。

1. Regional Prompter概述

Regional Prompter是一个自定义脚本,允许用户为图像的不同区域指定不同的提示词。它的核心优势在于可以在U-Net内部对每个提示词进行独立计算,从而实现更精确的区域控制。

主要特性包括:

支持水平和垂直方向的区域划分
2D区域划分功能,可同时进行水平和垂直划分
通过遮罩或提示词指定区域
支持LoRA、LoCon等模型的区域应用
提供API接口,方便与其他工具集成

2. 基本使用方法

要使用Regional Prompter,首先需要在AUTOMATIC1111的webui中安装该扩展。安装完成后,在生成界面会出现相关的控制选项。

基本使用步骤如下:

激活Regional Prompter功能
选择区域划分模式(水平/垂直/2D等)
设置区域比例
在提示词输入框中使用特殊分隔符(如BREAK)来分隔不同区域的提示词
调整其他参数(如base ratio等)
生成图像

例如,要创建一个上中下三个区域的图像,可以使用如下提示词:

green hair twintail BREAK
red blouse BREAK
blue skirt

同时设置:

Active : On
Use base prompt : Off
Divide mode : Vertical
Divide Ratio : 1,1,1
Base Ratio :

这将生成一个垂直分为三等份的图像,从上到下分别应用"绿色双马尾发型"、"红色衬衫"和"蓝色裙子"的提示词。

3. 高级功能详解

3.1 2D区域划分

Regional Prompter支持同时进行水平和垂直方向的区域划分,实现更复杂的布局控制。使用特殊分隔符ADDCOL和ADDROW可以指定列和行的划分。

例如:

(blue sky:1.2) ADDCOL
green hair twintail ADDCOL
(aquarium:1.3) ADDROW
(messy desk:1.2) ADDCOL
orange dress and sofa

这将创建一个3x2的网格布局,每个区域应用不同的提示词。

3.2 遮罩区域划分

除了使用比例划分区域,Regional Prompter还支持通过手绘遮罩或上传遮罩图像来精确指定区域。这种方法特别适合需要不规则形状区域的场景。

使用步骤:

切换到"mask divide mode"
设置画布大小并创建遮罩区域
绘制或上传遮罩
为每个遮罩区域指定提示词

3.3 提示词指定区域

Regional Prompter还提供了一种实验性功能,允许通过提示词本身来指定区域。这种方法可以更自然地控制特定元素的位置和效果。

语法示例:

baseprompt target1 target2 BREAK
effect1, target1 BREAK
effect2 ,target2

这种方法特别适合需要对图像中的特定元素(如衣服、头发等)进行精细控制的场景。

4. LoRA和其他模型的应用

Regional Prompter对LoRA、LoCon等模型提供了特殊支持:

LoRA可以在不降低速度的情况下应用
LoCon/LoHa需要启用"Use LoHa or other"选项,但会导致生成速度变慢

使用Latent模式可以在一定程度上分离LoRA的效果,但可能会导致生成时间增加。

5. API使用指南

Regional Prompter提供了API接口,方便与其他工具或脚本集成。API调用格式如下:

{
  "prompt": "green hair twintail BREAK red blouse BREAK blue skirt",
  "alwayson_scripts": {
    "Regional Prompter": {
      "args": [true,false,"Matrix","Vertical","Mask","Prompt","1,1,1","",false,false,false,"Attention",false,"0","0","0",""]
    }
  }
}

通过调整args数组中的参数,可以控制Regional Prompter的各项设置。

6. 实用技巧和注意事项

使用可视化工具创建模板:Regional Prompter提供了可视化工具,帮助用户更直观地规划区域布局。
合理使用base prompt和common prompt:
- base prompt用于设置全局基础提示词
- common prompt用于为所有区域添加共同元素
注意Attention模式和Latent模式的区别:
- Attention模式: 处理速度快,但对小区域的控制可能不够精确
- Latent模式: 处理速度慢,但可以实现更精确的区域控制,特别是在使用LoRA时
解决已知问题:
- 遮罩上传问题: 每次上传前点击"create mask area"
- Latent模式下的LoRA损坏: 尝试减小cfg、降低LoRA权重、增加采样步数等方法
实验性功能的使用需谨慎: 如提示词指定区域等功能仍在实验阶段,效果可能不够稳定。