ComfyUI IPAdapter plus

ComfyUI 对 IPAdapter 模型的参考实现。

IPAdapter 是非常强大的图像到图像条件模型。参考图像的主题甚至仅仅是风格都可以轻松转移到生成的图像中。可以将其视为单图像 lora。

赞助

:heart: Github 赞助 | :coin: Paypal

</div>

如果您喜欢我的工作并希望看到更新和新功能，请考虑赞助我的项目。

更不用说文档和视频教程了。比如，可以查看我在 YouTube 上的 ComfyUI 高级理解 视频，第一部分和第二部分

保持代码开源和免费的唯一方法是赞助其开发。赞助越多，我就能投入更多时间到我的开源项目中。

请考虑 Github 赞助或 PayPal 捐赠（Matteo "matt3o" Spinelli）。对于 50 美元以上的赞助，如果您希望在本 readme 文件中被提及，可以在 Discord 上或通过 matt3o :snail: gmail.com 联系我。

重要更新

2024/08/02: 支持 Kolors FaceIDv2。请查看示例工作流程以了解最佳实践。

2024/07/26: 为 ClipVision Enhancer 添加了对图像批处理和动画的支持。

2024/07/18: 支持 Kolors。

2024/07/17: 添加了实验性的 ClipVision Enhancer 节点。这在某种程度上受到 Scaling on Scales 论文的启发，但实现方式有所不同。新的 IPAdapterClipVisionEnhancer 通过对嵌入进行平铺（而不是在像素空间中对图像进行平铺）来捕捉小细节，结果是得到稍高分辨率的视觉嵌入，而不会影响性能。

2024/07/11: 添加了实验性的精确构图（布局）转移。效果不如风格转移好。embeds_scaling 有很大影响。在 SDXL 中从强度 0.8 和提升 0.3 开始，在 SD1.5 中从 0.6 和提升 0.35 开始。

2024/06/28: 添加了 IPAdapter Precise Style Transfer 节点。增加 style_boost 选项可以减少构图层的出血。重要提示： 在 SDXL 中效果更好，从 style_boost 值 2 开始；对于 SD1.5，尝试将权重略微增加到 1.0 以上，并将 style_boost 设置为 -1 到 +1 之间的值，从 0 开始。

2024/06/22: 添加了 style transfer precise，在风格和构图层之间提供更少的嵌入出血。有时比标准风格转移更好，特别是当参考图像与生成图像差异很大时。在 SDXL 中比 SD1.5 中效果更好。

2024/05/21: 改进了 encode_batch_size 时的内存分配。主要用于非常长的动画。

2024/05/02: 在高级批处理节点中添加了 encode_batch_size。这对于具有大量帧的动画很有用，可以减少图像编码过程中的 VRAM 使用。请注意，根据批处理大小，结果会略有不同。

2024/04/27: 重构了 IPAdapterWeights，主要用于 AnimateDiff 动画。

2024/04/21: 添加了区域条件节点，以简化注意力掩码和掩码文本条件。

2024/04/16: 添加了对新的 SDXL 肖像 unnorm 模型的支持（链接如下）。它非常强大，倾向于忽略文本条件。将 CFG 降低到 3-4 或使用 RescaleCFG 节点。

2024/04/12: 添加了计划权重。对动画有用。

（为了可读性，较早的更新已被删除）

示例工作流程

examples 目录中有许多涵盖所有 IPAdapter 功能的工作流程。

IPAdapter 示例工作流程

视频教程

:star: 新的 IPAdapter 功能
:art: IPAdapter 风格和构图

以下视频是关于 IPAdapter 的前一个版本，但它们仍然包含有价值的信息。 :nerd_face: 基础使用视频, :rocket: 高级功能视频, :japanese_goblin: 注意力遮罩视频, :movie_camera: 动画功能视频

安装

在 ComfyUI/custom_nodes/ 目录下下载或git克隆此仓库，或使用管理器。IPAdapter 始终需要最新版本的 ComfyUI。如果某些功能不工作，请确保升级。请注意，管理器的自动更新有时可能不起作用，你可能需要手动升级。

现在有一个统一模型加载器，要使其正常工作，你需要按照下面描述的方式精确命名文件。旧版加载器可以使用任何文件名，但你必须手动选择它们。模型可以放在子目录中。

记住，你也可以在 extra_model_paths.yaml 文件中设置 ipadapter 条目来使用任何自定义位置。

/ComfyUI/models/clip_vision
- CLIP-ViT-H-14-laion2B-s32B-b79K.safetensors，下载并重命名
- CLIP-ViT-bigG-14-laion2B-39B-b160k.safetensors，下载并重命名
- clip-vit-large-patch14-336.bin，仅为 Kolors 模型下载并重命名
/ComfyUI/models/ipadapter，如果不存在则创建
- ip-adapter_sd15.safetensors，基础模型，中等强度
- ip-adapter_sd15_light_v11.bin，轻度影响模型
- ip-adapter-plus_sd15.safetensors，Plus 模型，非常强大
- ip-adapter-plus-face_sd15.safetensors，面部模型，适用于肖像
- ip-adapter-full-face_sd15.safetensors，更强的面部模型，不一定更好
- ip-adapter_sd15_vit-G.safetensors，基础模型，需要 bigG clip vision 编码器
- ip-adapter_sdxl_vit-h.safetensors，SDXL 模型
- ip-adapter-plus_sdxl_vit-h.safetensors，SDXL plus 模型
- ip-adapter-plus-face_sdxl_vit-h.safetensors，SDXL 面部模型
- ip-adapter_sdxl.safetensors，vit-G SDXL 模型，需要 bigG clip vision 编码器
- 已弃用 ip-adapter_sd15_light.safetensors，v1.0 轻度影响模型

FaceID 模型需要 insightface，你需要在 ComfyUI 环境中安装它。查看这个问题以获取帮助。请记住，大多数 FaceID 模型还需要一个 LoRA。

要使统一加载器正常工作，文件需要按照上面列表中显示的方式精确命名。

/ComfyUI/models/ipadapter
- ip-adapter-faceid_sd15.bin，基础FaceID模型
- ip-adapter-faceid-plusv2_sd15.bin，FaceID plus v2
- ip-adapter-faceid-portrait-v11_sd15.bin，用于肖像的文本提示风格迁移
- ip-adapter-faceid_sdxl.bin，SDXL基础FaceID
- ip-adapter-faceid-plusv2_sdxl.bin，SDXL plus v2
- ip-adapter-faceid-portrait_sdxl.bin，SDXL文本提示风格迁移
- ip-adapter-faceid-portrait_sdxl_unnorm.bin，仅用于SDXL的强力风格迁移
- 已弃用 ip-adapter-faceid-plus_sd15.bin，FaceID plus v1
- 已弃用 ip-adapter-faceid-portrait_sd15.bin，肖像模型v1

大多数FaceID模型需要一个LoRA。如果您使用IPAdapter Unified Loader FaceID，只要遵循命名约定，它就会自动加载。否则，您必须手动加载它们，请注意每个FaceID模型都必须与其特定的LoRA配对。

/ComfyUI/models/loras
- ip-adapter-faceid_sd15_lora.safetensors
- ip-adapter-faceid-plusv2_sd15_lora.safetensors
- ip-adapter-faceid_sdxl_lora.safetensors，SDXL FaceID LoRA
- ip-adapter-faceid-plusv2_sdxl_lora.safetensors，SDXL plus v2 LoRA
- 已弃用 ip-adapter-faceid-plus_sd15_lora.safetensors，用于已弃用的FaceID plus v1模型的LoRA

所有模型都可以在huggingface上找到。

社区模型

社区已经制作了一些有趣的IPAdapter模型。

/ComfyUI/models/ipadapter
- ip_plus_composition_sd15.safetensors，忽略风格和内容的通用构图，更多信息点击这里
- ip_plus_composition_sdxl.safetensors，SDXL版本
- Kolors-IP-Adapter-Plus.bin，用于Kolors模型的IPAdapter Plus
- Kolors-IP-Adapter-FaceID-Plus.bin，用于Kolors模型的IPAdapter FaceIDv2。注意： Kolors是在InsightFace antelopev2模型上训练的，您需要手动下载并将其放置在models/inisghtface目录中。