Inpaint Anything：为Stable Diffusion Web UI带来革命性的图像编辑体验

Inpaint Anything：图像编辑的新纪元

在数字图像处理的领域中，不断有新的技术和工具涌现，推动着创意和效率的边界。其中，Inpaint Anything作为Stable Diffusion Web UI的一个扩展，正在为图像编辑带来一场小革命。这个创新工具结合了Segment Anything的先进分割技术和稳定扩散模型的强大生成能力，为用户提供了一种前所未有的图像编辑体验。

什么是Inpaint Anything？

Inpaint Anything是一个为Stable Diffusion Web UI设计的扩展插件，它的核心功能是在浏览器界面上执行稳定扩散修复。这个工具的独特之处在于它利用了Segment Anything模型的输出作为蒙版，使用户能够以一种更加直观和高效的方式进行图像编辑。

相比传统的手动填充蒙版的方法，Inpaint Anything允许用户通过简单地指向所需区域来指定蒙版。这种方法不仅大大提高了蒙版创建过程的效率和准确性，还有可能带来更高质量的修复结果，同时节省了大量时间和精力。

安装Inpaint Anything

要开始使用Inpaint Anything，首先需要将其安装到您的Stable Diffusion Web UI中。安装过程相对简单，具体步骤如下：

1. 打开AUTOMATIC1111的Stable Diffusion Web UI中的"Extensions"标签。
2. 选择"Install from URL"选项。
3. 在"URL for extension's git repository"字段中输入以下地址： https://github.com/Uminosachi/sd-webui-inpaint-anything.git
4. 点击"Install"按钮。
5. 安装完成后，重启Web UI。

需要注意的是，这个扩展支持AUTOMATIC1111的Stable Diffusion Web UI v1.3.0或更高版本。

运行应用程序

安装完成后，您可以开始运行Inpaint Anything。如果您打算使用内存效率更高的xformers，请在启动命令中添加--xformers参数。例如，在Linux或MacOS上运行./webui.sh --xformers，在Windows上运行webui.bat --xformers。

值得注意的是，如果您的网络浏览器启用了隐私保护扩展（如DuckDuckGo），可能会影响从草图中检索蒙版的功能。此外，在Gradio版本3.23.0或更早的版本中，分割图像可能在Web UI上显示较小。

下载模型

在开始使用Inpaint Anything之前，您需要下载必要的模型：

1. 导航到Web UI中的"Inpaint Anything"标签。
2. 点击"Download model"按钮，该按钮位于Segment Anything Model ID旁边。

Inpaint Anything支持多种模型，包括SAM 2、Segment Anything in High Quality Model、Fast Segment Anything和Faster Segment Anything (MobileSAM)。值得注意的是，SAM模型有三种尺寸可选：Base、Large和Huge。请记住，较大的模型会消耗更多的VRAM。

下载完成后，模型文件将存储在应用程序仓库的models目录中。

使用Inpaint Anything

Inpaint Anything的使用流程相对直观，以下是基本步骤：

1. 将您的图像拖放到输入图像区域。

   • 您可以通过"Padding options"实现outpainting，配置比例和平衡，然后点击"Run Padding"按钮。
   • "Anime Style"复选框可以增强分割蒙版检测，特别适用于动漫风格的图像，但可能会略微降低蒙版质量。

2. 点击"Run Segment Anything"按钮。

3. 使用草图工具指向您想要修复的区域。您可以撤销操作并调整笔尺寸。

   • 悬停在SAM图像或蒙版图像上，按"S"键进入全屏模式，或按"R"键重置缩放。

4. 点击"Create mask"按钮。蒙版将出现在所选的蒙版图像区域。

蒙版调整

Inpaint Anything提供了几个用于调整蒙版的选项：

• "Expand mask region"按钮：用于略微扩大蒙版区域，以获得更广泛的覆盖。
• "Trim mask by sketch"按钮：点击后将从蒙版中排除草图区域。
• "Add mask by sketch"按钮：点击后将草图区域添加到蒙版中。

这些功能让用户能够精确控制要修复的区域，从而获得更好的修复效果。

Inpainting标签

Inpainting标签是Inpaint Anything的核心功能区域，在这里您可以执行实际的修复操作：

1. 输入您想要的Prompt和Negative Prompt，然后选择Inpainting Model ID。

2. 点击"Run Inpainting"按钮开始修复过程。请注意，首次下载模型可能需要一些时间。

3. 在高级选项中，您可以调整Sampler、Sampling Steps、Guidance Scale和Seed等参数。

4. 如果启用"Mask area Only"选项，修改将仅限于指定的蒙版区域。

5. 调整迭代滑块可以使用不同的种子多次执行修复。

修复过程由diffusers库提供支持，这保证了高质量的修复结果。

清理器标签

除了修复功能，Inpaint Anything还提供了一个清理器功能：

1. 选择Cleaner Model ID。
2. 点击"Run Cleaner"按钮。同样，首次下载模型可能需要一些时间。

清理过程使用Lama Cleaner执行，这是一个强大的图像清理工具。

ControlNet Inpaint标签

对于更高级的用户，Inpaint Anything还提供了ControlNet Inpaint功能：

1. 使用Web UI左上角的Stable Diffusion checkpoint，并将其与ControlNet inpaint模型配对。

2. 输入您想要的Prompt和Negative Prompt。

3. 点击"Run ControlNet Inpaint"按钮开始处理。

4. 在高级选项中，您可以调整Sampler、Sampling Steps、Guidance Scale、Denoising Strength和Seed等参数。

5. 在ControlNet选项中可以修改Control Weight和Control Mode。

使用这个功能需要安装支持inpaint_only预处理器和ControlNet inpaint模型的ControlNet扩展。

自动保存图像

为了方便用户管理修复后的图像，Inpaint Anything提供了自动保存功能：

• 修复后的图像将自动保存在outputs/inpaint-anything目录下与当前日期匹配的文件夹中。
• 您可以通过Web UI的"Settings"标签中的"Inpaint Anything"部分切换到outputs/img2img-images目录。

结语

Inpaint Anything为Stable Diffusion Web UI带来了革命性的图像编辑体验。通过结合先进的分割技术和稳定扩散模型，它使得复杂的图像编辑任务变得简单而高效。无论您是专业的图像编辑者，还是对AI辅助创作感兴趣的爱好者，Inpaint Anything都为您提供了一个强大而灵活的工具，帮助您实现创意并提高工作效率。

随着技术的不断进步，我们可以期待Inpaint Anything在未来会有更多令人兴奋的功能和改进。这个工具不仅展示了AI在创意领域的潜力，也为图像编辑的未来指明了方向。无疑，Inpaint Anything正在重新定义我们与数字图像交互的方式，为创作者们开启了无限可能的新世界。