ComfyUI Inpaint Nodes: 提升图像修复效果的强大工具集

ComfyUI Inpaint Nodes简介

ComfyUI Inpaint Nodes是一个专为ComfyUI设计的强大插件,旨在提升图像修复(inpainting)和外部绘制(outpainting)的效果。它为ComfyUI用户提供了一系列先进的节点和工具,包括Fooocus inpaint模型、LaMa、MAT等算法,以及多种预处理和后处理工具。这些功能的加入,使得ComfyUI在图像编辑方面的能力得到了显著提升。

主要特性

1. Fooocus Inpaint模型集成:集成了Fooocus inpaint模型,可应用于任何SDXL checkpoint,将其转换为inpaint模型。
2. 多种预处理工具:提供了扩展遮罩、填充遮罩区域、模糊遮罩等多种预处理工具。
3. 高级inpaint模型支持:集成了LaMa和MAT等先进的inpaint模型。
4. 灵活的工作流程:提供了多个示例工作流程,适用于不同的inpaint和outpaint场景。
5. 易于安装和使用:可通过ComfyUI Manager轻松安装,或通过Git直接克隆仓库。

Fooocus Inpaint模型详解

Fooocus Inpaint是该插件的核心特性之一。它是一个小巧而灵活的补丁,可以应用于任何SDXL checkpoint,将其转换为专门的inpaint模型。这种转换后的模型可以像其他inpaint模型一样使用,但提供了更多优势。

使用Fooocus Inpaint的步骤如下:

1. 从lllyasviel/fooocus_inpaint下载模型文件。
2. 将下载的模型文件放置在ComfyUI/models/inpaint目录下。
3. 在ComfyUI中使用新增的两个节点来应用Fooocus inpaint模型。

值得注意的是,Fooocus Inpaint的实现方式比较巧妙,它通过修改ComfyUI的ModelPatcher来支持模型使用的自定义Lora格式。这种实现方式虽然有些技巧性,但保证了与ComfyUI的良好兼容。

高级Inpaint预处理工具

ComfyUI Inpaint Nodes提供了多种预处理工具,用于在进行inpainting之前对遮罩区域进行处理。这些工具可以有效避免边缘出现接缝,前提是输入的遮罩足够大。主要的预处理工具包括:

1. 扩展遮罩(Expand Mask)

这个工具可以将遮罩区域向外扩展指定的像素数,并对遮罩边缘进行模糊处理,使过渡更加平滑。

2. 填充遮罩(Fill Masked)

填充遮罩工具提供了三种填充模式:

• neutral: 用灰色填充,适合添加全新内容。
• telea: 基于Alexandru Telea算法,使用周围边界的颜色进行填充。
• navier-stokes: 基于流体动力学的Navier-Stokes方程,使用周围边界的颜色进行填充。

3. 模糊遮罩(Blur Masked)

这个工具将图像向遮罩区域内模糊。在遮罩边缘处模糊程度较弱,适合保持整体颜色一致性。

4. Inpaint模型(LaMa, MAT)

ComfyUI Inpaint Nodes还集成了LaMa和MAT这两个先进的inpaint模型。这些模型可以快速对遮罩区域进行修复,特别适合用于outpainting或物体移除。

使用步骤:

1. 使用Load Inpaint Model节点加载模型。
2. 使用**Inpaint (using Model)**节点应用模型。

支持的模型文件需要放置在ComfyUI/models/inpaint目录下:

• LaMa模型下载
• MAT模型下载

灵活的工作流程示例

为了帮助用户快速上手和深入了解ComfyUI Inpaint Nodes的功能,该项目提供了多个示例工作流程:

1. 简单工作流程: 基础的inpaint工作流程,忽略之前的内容,100%替换。
2. 细化工作流程: 高级工作流程,可以细化现有内容,支持1-100%的降噪强度。
3. Outpaint工作流程: 用于outpainting的工作流程,包含预处理步骤。
4. 预处理实验工作流程: 复杂的工作流程,用于试验各种预处理器。
5. 无提示词工作流程: 不使用文本提示的工作流程,需要IP-Adapter插件支持。

这些示例工作流程涵盖了从基础到高级的各种使用场景,用户可以根据自己的需求选择合适的工作流程,并在此基础上进行定制和优化。

安装和使用指南

ComfyUI Inpaint Nodes的安装非常简单,主要有以下几种方式:

1. 使用ComfyUI Manager搜索"ComfyUI Inpaint Nodes"并安装。

2. 直接下载仓库并将文件夹放入ComfyUI/custom_nodes目录。

3. 使用Git命令安装:

   cd ComfyUI/custom_nodes
   git clone https://github.com/Acly/comfyui-inpaint-nodes.git
   

安装完成后,请重启ComfyUI以使更改生效。

此外,如果需要使用telea和navier-stokes填充模式,还需要安装OpenCV:

pip install opencv-python

总结与展望

ComfyUI Inpaint Nodes为ComfyUI用户提供了一套强大而灵活的图像修复和编辑工具。通过集成先进的inpaint模型和提供多种预处理、后处理工具,它极大地提升了ComfyUI在图像编辑方面的能力。无论是简单的图像修复还是复杂的outpainting任务,ComfyUI Inpaint Nodes都能提供出色的解决方案。

随着AI图像处理技术的不断发展,我们可以期待ComfyUI Inpaint Nodes在未来会集成更多先进的算法和模型,为用户提供更加智能和高效的图像编辑体验。对于喜欢探索AI图像处理前沿技术的用户来说,ComfyUI Inpaint Nodes无疑是一个值得关注和使用的强大工具。

最后,我们要感谢ComfyUI Inpaint Nodes的开发者和贡献者,以及那些开发了Fooocus Inpaint、LaMa、MAT等基础模型的研究人员。正是他们的努力,让我们能够享受到如此强大而易用的图像编辑工具。希望这个项目能够继续发展,为更多的创作者和开发者带来便利和灵感。