IC-Light

IC-Light是一个操控图像照明的项目。

"IC-Light"代表"施加一致光照"（我们将在本页末尾简要描述）。

目前，我们发布了两种类型的模型：文本条件重光照模型和背景条件模型。这两种类型都以前景图像作为输入。

开始使用

以下脚本将运行文本条件重光照模型：

git clone https://github.com/lllyasviel/IC-Light.git
cd IC-Light
conda create -n iclight python=3.10
conda activate iclight
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
pip install -r requirements.txt
python gradio_demo.py

或者，要使用背景条件演示：

python gradio_demo_bg.py

模型下载是自动进行的。

请注意，"gradio_demo.py"在huggingFace Space这里有一个官方页面。

截图

文本条件模型

（注意，"光照偏好"只是初始潜在空间 - 例如，如果光照偏好是"左"，那么初始潜在空间就是左白右黑。）

---

提示：美丽的女人，细节丰富的面孔，温暖的氛围，在家里，卧室

光照偏好：左

[图片]

---

提示：美丽的女人，细节丰富的面孔，窗户透进的阳光

光照偏好：左

[图片]

---

美丽的女人，细节丰富的面孔，霓虹灯，王家卫风格，温暖

光照偏好：左

[图片]

---

提示：美丽的女人，细节丰富的面孔，阳光，户外，温暖的氛围

光照偏好：右

[图片]

---

提示：美丽的女人，细节丰富的面孔，阳光，户外，温暖的氛围

光照偏好：左

[图片]

---

提示：美丽的女人，细节丰富的面孔，窗户透进的阳光

光照偏好：右

[图片]

---

提示：美丽的女人，细节丰富的面孔，窗户投下的阴影

光照偏好：左

[图片]

---

提示：美丽的女人，细节丰富的面孔，海上日落

光照偏好：右

[图片]

---

提示：帅气的男孩，细节丰富的面孔，霓虹灯光，城市

光照偏好：左

[图片]

---

提示：美丽的女人，细节丰富的面孔，光影

光照偏好：左

[图片]

（美丽的女人，细节丰富的面孔，柔和的摄影棚灯光）

[图片]

---

提示：佛陀，细节丰富的面孔，科幻RGB发光，赛博朋克

光照偏好：左

[图片]

---

提示：佛陀，细节丰富的面孔，自然光照

光照偏好：左

[图片]

---

提示：玩具，细节丰富的面孔，窗户投下的阴影

光照偏好：底部

[图片]

---

提示：玩具，细节丰富的面孔，海上日落

光照偏好：右

[图片]

---

提示：狗，魔法光照，科幻RGB发光，摄影棚灯光

光照偏好：底部

[图片]

---

提示：神秘的人，温暖的氛围，温暖的氛围，在家里，卧室

光照偏好：右

[图片]

---

背景条件模型

背景条件模型不需要仔细的提示。只需使用简单的提示，如"帅气的男人，电影级光照"即可。

---

[图片]

[图片]

[图片]

[图片]

---

更加结构化的可视化：

施加一致性光照

在HDR空间中，光照具有一个特性，即所有的光传输都是独立的。

因此，不同光源外观的混合等同于混合光源下的外观：

以上面的光照舞台为例，"外观混合"和"光源混合"产生的两幅图像是一致的（在理想情况下，在HDR空间中在数学上是等价的）。

我们在训练重光照模型时施加了这种一致性（在潜空间中使用MLP）。

因此，该模型能够产生高度一致的重光照效果——一致性如此之高，以至于不同的重光照结果甚至可以合并为法线贴图！尽管这些模型是潜在扩散模型。

从左到右分别是输入、模型重光照输出、分离的阴影图像和合并的法线贴图。请注意，该模型并没有使用任何法线贴图数据进行训练。这种法线估计来自重光照的一致性。

你可以使用这个按钮复现这个实验（它的速度是原来的1/4，因为它对图像进行了4次重光照）

以下是更大的图像（随意尝试自己获取更多结果！）

作为参考，geowizard（geowizard是一个非常出色的作品！）：

以及，switchlight（switchlight是另一个出色的作品！）：

模型说明

• iclight_sd15_fc.safetensors - 默认的重光照模型，以文本和前景为条件。你可以使用初始潜在空间来影响重光照效果。

• iclight_sd15_fcon.safetensors - 与"iclight_sd15_fc.safetensors"相同，但使用偏移噪声进行训练。请注意，默认的"iclight_sd15_fc.safetensors"在用户研究中略微优于此模型。这也是为什么默认模型是不带偏移噪声的模型的原因。

• iclight_sd15_fbc.safetensors - 以文本、前景和背景为条件的重光照模型。

另外，请注意原始的BRIA RMBG 1.4仅供非商业使用。如果你在商业项目中使用IC-Light，请将其替换为其他背景替换器，如BiRefNet。

引用

@Misc{iclight,
  author = {Lvmin Zhang and Anyi Rao and Maneesh Agrawala},
  title  = {IC-Light GitHub Page},
  year   = {2024},
}

相关工作

另请阅读...

Total Relighting: Learning to Relight Portraits for Background Replacement

Relightful Harmonization: Lighting-aware Portrait Background Replacement

SwitchLight: Co-design of Physics-driven Architecture and Pre-training Framework for Human Portrait Relighting