ComfyUI InstantID（原生支持）

为 ComfyUI 提供原生 InstantID 支持。

与其他已有扩展不同，本扩展不使用 diffusers，而是原生实现 InstantID，并与 ComfyUI 完全集成。

赞助

<div align="center">

:heart: Github 赞助 | :coin: Paypal

</div>

如果您喜欢我的工作并希望看到更新和新功能，请考虑赞助我的项目。

• ComfyUI IPAdapter Plus
• ComfyUI InstantID（原生）
• ComfyUI Essentials
• ComfyUI FaceAnalysis
• Comfy Dungeon

更不用说文档和视频教程了。例如，查看我在 YouTube 上的 ComfyUI 高级理解 视频，第1部分和第2部分

保持代码开源和免费的唯一方法是赞助其开发。赞助越多，我就能投入更多时间到我的开源项目中。

请考虑 Github 赞助 或 PayPal 捐赠（Matteo "matt3o" Spinelli）。对于 50 美元以上的赞助，如果您希望在此 readme 文件中被提及，可以在 Discord 上或通过 matt3o :snail: gmail.com 联系我。

重要更新

• 2024/02/27: 在负面嵌入中添加了噪声注入。

• 2024/02/26: 修复了一个小但严重的错误。结果会有所不同，您可能需要降低 CFG。

• 2024/02/20: 我重构了节点，希望它们更易于使用。这是一个破坏性更新，之前的工作流将不再有效。

基本工作流

在 examples 目录中，您可以找到一些基本工作流。

视频教程

<a href="https://youtu.be/wMLiGhogOPE" target="_blank"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/1833f835-5398-43bb-8e6d-858e66e56aaf.jpg" alt="观看视频" /> </a>

** :movie_camera: InstantID 功能介绍**

安装

将 ComfyUI 更新到最新版本！

下载或 git clone 此仓库到 ComfyUI/custom_nodes/ 目录，或使用管理器。

InstantID 需要 insightface，您需要将其与 onnxruntime 和 onnxruntime-gpu 一起添加到您的库中。

InsightFace 模型是 antelopev2（不是经典的 buffalo_l）。下载模型（例如从这里或这里），解压并放置在 ComfyUI/models/insightface/models/antelopev2 目录中。

主要模型可以从 HuggingFace 下载，应放置在 ComfyUI/models/instantid 目录中。（注意该模型被称为 ip_adapter，因为它基于 IPAdapter）。

您还需要一个 controlnet，将其放在 ComfyUI controlnet 目录中。

请记住，目前这仅适用于 SDXL。

水印！

训练数据中充满了水印，为避免它们出现在您的生成中，请使用稍微不同于 1024×1024（或标准尺寸）的分辨率，例如 1016×1016 效果很好。

降低 CFG！

将 CFG 降低到至少 4/5 很重要，或者您可以使用 RescaleCFG 节点。

面部关键点

人物姿势基于参考图像生成的关键点。您可以通过向 image_kps 输入发送图像来使用不同的姿势。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/0a20641f-40aa-4bf2-b154-c53f32737cc9.jpg" width="386" height="386" alt="白日梦" />

噪声注入

默认的 InstantID 实现似乎真的会烧毁图像，我发现通过向负面嵌入注入噪声，我们可以缓解这种效果，并增加与参考的相似度。默认的 Apply InstantID 节点自动注入 35% 的噪声，如果您想微调效果，可以使用高级 InstantID 节点。

这仍然是实验性的，将来可能会改变。

额外的 Controlnets

您可以在生成中添加更多的 controlnets。提供了深度 controlnet 的示例工作流。

使用 IPAdapter 进行样式设计

可以使用 IPAdapter 为构图设计样式。提供了一个示例。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/9c839034-5459-4782-bd0f-4b96be6d85ff.jpg" width="512" alt="IPAdapter" />

多重 ID

支持多重 ID，但工作流有点复杂，生成速度较慢。我会检查是否能找到更好的方法。在示例目录中提供了"黑客式"工作流。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/80b51db9-96a0-4515-9d95-a05a35f847a8.jpg" width="768" alt="IPAdapter" />

高级节点

有一个 InstantID 高级节点可用，目前与标准节点的唯一区别是您可以分别设置 instantID 模型和 controlnet 的权重。现在还包括噪声注入选项。这可能有助于微调。

instantID 模型影响约 25% 的构图，其余部分是 controlnet。

噪声有助于减少"烧毁"效果。

其他说明

它与 SDXL Turbo/Lighting 配合得很好。社区检查点效果最佳。

当前赞助商

正是由于慷慨的赞助商，整个社区才能享受开放和免费的软件。请与我一起感谢以下公司和个人！

金牌赞助商

   

支持我项目的公司

• RunComfy（ComfyUI 云）

尊敬的个人

• Jack Gane
• Nathan Shipley

一次性特别赞助

• Eric Rollei
• francaleu
• Neta.art
• Samwise Wang
• 以及所有私人赞助商，你们知道你们是谁！