ComfyUI-IC-Light-Native:在ComfyUI中实现IC-Light的原生集成

ComfyUI-IC-Light-Native:在ComfyUI中实现IC-Light的原生集成

ComfyUI-IC-Light-Native是一个令人兴奋的项目,它将IC-Light框架直接集成到了ComfyUI中,为用户提供了强大而灵活的图像编辑和重光照功能。本文将深入探讨这个项目的安装、使用方法、主要功能以及一些实用的工作流程示例。

项目简介

ComfyUI-IC-Light-Native是IC-Light框架在ComfyUI中的原生实现。IC-Light是一个强大的图像编辑和重光照工具,而ComfyUI则是一个流行的AI图像生成和编辑界面。通过将两者结合,ComfyUI-IC-Light-Native为用户提供了一个直观而强大的图像处理环境。

安装方法

要安装ComfyUI-IC-Light-Native,您有两种选择:

1. 使用ComfyUI管理器(推荐方式):
   直接在ComfyUI管理器中搜索并安装ComfyUI-IC-Light-Native。这种方式简单快捷,无需额外的配置。

2. 手动安装:
   如果您喜欢手动控制,可以按照以下步骤进行安装:

   cd custom_nodes  
   git clone git@github.com:huchenlei/ComfyUI-IC-Light-Native.git  
   

安装完成后,您还需要下载相应的模型文件。模型文件可以在https://huggingface.co/huchenlei/IC-Light-ldm/tree/main找到。下载后,请将它们放置在ComfyUI/models/unet目录下。

主要有两个模型文件:

• iclight_sd15_fc_unet_ldm: 用于前景工作流程
• iclight_sd15_fbc_unet_ldm: 用于背景工作流程

推荐节点

为了充分发挥ComfyUI-IC-Light-Native的功能,建议同时安装以下节点:

• ComfyUI-KJNodes: 提供各种遮罩节点,用于创建光照图。
• ComfyUI-Easy-Use: 一个综合性的节点包,其中包含的背景移除节点在工作流程中很有用。
• ComfyUI_essentials: 提供许多实用的工具节点,如图像调整大小节点。
• ComfyUI-IC-Light: 包含DetailTransfer节点,可以帮助保留输入前景图像中的高频细节。

使用注意事项

在使用ComfyUI-IC-Light-Native时,有一些重要的注意事项:

1. 前景图像处理:
   在将前景图像传入VAE之前,请确保其遮罩/透明区域为灰色。这一点非常重要,否则可能会导致FC工作流程中背景模糊或FBC工作流程中背景变暗。您可以使用IC Light Apply Mask Grey节点来确保遮罩区域的颜色正确。

2. 模型选择:

   • 在前景(FG)工作流程中使用iclight_sd15_fc_unet_ldm模型
   • 在背景(BG)工作流程中使用iclight_sd15_fbc_unet_ldm模型

3. 节点加载:
   使用UNETLoader节点来加载这些模型。

工作流程示例

ComfyUI-IC-Light-Native提供了多种强大的工作流程,以下是一些典型示例:

1. 给定前景,生成背景并重新照明

这个工作流程展示了如何从一个给定的前景图像出发,生成匹配的背景,并对整个场景进行重新照明。

如果您希望保持前景对象的原始颜色,可以将前景对象放在潜在空间中,以进一步指导生成过程。这种方法可以在保持前景特征的同时,生成更加协调的背景。

2. 给定前景和光照图,生成背景并重新照明

这个工作流程允许用户通过提供前景图像和自定义的光照图,来精确控制最终场景的光照效果。

光从右侧照射的效果:

光从左侧照射的效果:

3. 给定前景和背景,将前景放置在背景上并重新照明

这个工作流程展示了如何将一个给定的前景对象无缝地融入到一个已有的背景中,并对整个场景进行重新照明,使其看起来更加自然和协调。

![前景背景合成示例](https://private-user-images.githubusercontent.com/20929282/329877961-ea87538a-15d8-43d8-874d-bcddab9f4f0e.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjU1MTY1OTYsIm5iZiI6MTcyNTUxNjI5NiwicGF0aCI6Ii8yMDkyOTI4Mi8zMjk4Nzc5NjEtZWE4NzUzOGEtMTVkOC00M2Q4LTg3NGQtYmNkZGFiOWY0ZjBlLnBuZz9YLUFtej1BbGdvcml0aG09QVdTNC1ITUFDLVNIQTI1NiZYLUFtej1DcmVkZW50aWFsPUFLSUFWQ09EWUxTQTUzUFFLNFpBJTJGMjAyNDA5MDUlMkZ1cy1lYXN0LTElMkZzMyUyRmF3czRfcm