FlashFace

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/b26f6b90-6a05-400b-9ba9-01d48f2067f6.png" width="30%", style="vertical-align: middle; margin-right: 0px; position: relative; top: 50px;"> <br> </p> <div align="center">

FlashFace：保持高保真度身份的人像图像个性化

论文 & 项目主页

</div>

🔥ComfyUI-FlashFace🔥（感谢Cold-Hand的出色工作，他们发现"添加更多参考人脸（而不是本仓库默认的4个人脸）可以进一步增强FlashFace"。该实现仍在快速迭代和功能添加过程中。）

🔥非官方在线演示🔥（请使用以下超参数而非此演示的默认超参数以获得稳定的身份保真度）

推荐的超参数以获得稳定的身份保真度

# 请在提示词中包含年龄词，如年轻女性/男性
# 否则，FlashFace倾向于生成中年面孔，这往往会更胖

正面提示词：一位英俊的年轻男子 / 一位美丽的年轻女子 .......
人脸位置：[0.3, 0.2, 0.6, 0.5] # 避免生成过大或过小的人脸
参考特征强度：1.2
参考引导强度：3.2
启动参考引导的步骤索引：750

# 当发现人脸上有伪影时，适当降低这三个值。

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/d18c3e01-c459-40f3-8744-4131ab01ce6c.png" width="80%"> <br> </p>

改变年龄的推荐超参数

# 请在提示词中包含年龄词，如婴儿女孩/男孩，一位非常老的女性/男性


正面提示词：一个婴儿女孩 / 一位非常老的女性 ......
人脸位置：[0.3, 0.2, 0.6, 0.5] # 避免生成过大或过小的人脸
默认文本控制比例 = 8.5

参考特征强度：0.9
参考引导强度：2.5
启动参考引导的步骤索引：750

# 如果感觉改变年龄后的人物身份保真度不够，请调高这三个参数

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/260f6506-fcbd-495c-8a1f-dda9a18eda2d.png" width="80%"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/d254b6a1-0ce7-45e2-bf5b-1b9fd8c1e36c.png" width="80%"> <br> </p>

为了获得更好的结果，特别是对于亚洲人脸， 请在使用前您先行阅读 中文教程 获取一些经验，否则可能会导致生成结果较差。

为了获得最佳效果，尤其是对于亚洲面孔，强烈建议在开始之前仔细阅读这个教程。跳过这一步可能会导致不理想或意料之外的结果。

更新

• [5月30日] 🔥ComfyUI-FlashFace🔥。感谢Cold-Hand的出色工作，他们发现"添加更多参考人脸（而不是本仓库默认的4个人脸）可以进一步增强FlashFace"。该实现仍在快速迭代和功能添加过程中。

• [5月7日] 🔥🔥🔥 Sakib Ahamed慷慨提供了FlashFace-SD1.5的在线演示。为了获得最佳效果，建议在开始之前仔细阅读这个教程 / 中文教程。

• [4月18日] FlashFace-SD1.5的推理代码已发布。 这个版本相比我们的论文有了明显的进步，因为它经过了更长时间的训练。我们还在推理过程中引入了新的引导技术。值得注意的是，这个增强版checkpoint在光照和阴影效果方面展现出了显著进步。它甚至对非名人也表现出了强大的身份保持能力。更多详细信息请参考以下图片。关于提示词和推理参数，请参考notebook演示。如果您对生成的图像不满意，可以在issue中提交您的案例，以便我们帮助您改进。敬请期待更多版本！

我们开源了FlashFace-SD1.5的推理代码以及全微调的模型权重。这个权重相比我们论文中的权重训练时间更长，如下面图片所示，展现出了更真实的光影效果与人物细节，即使针对非名人也展现出了极强的保持身份的能力。下面图片使用的提示词以及推理参数细节可以参照notebook演示。如果您对生成图片不满意，可以在issue中提交您的案例，以便我们帮助您提升它。其他版本权重敬请期待！

特点

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/d9cdb360-c921-44cc-b3e4-fb727e04ce73.gif" width="100%"> <br> </p>

1. 在几秒钟内通过一个或多个参考面孔实现零样本人像图像定制。
2. 强大的身份保持能力，即使对非名人也适用。
3. 强大的语言提示跟随能力，甚至可以改变人物的年龄或性别。
4. 灵活调整身份图像控制和语言提示控制的强度。

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/835a84d5/f3573847-7ced-4e6b-8404-0853bad7d474.png" width="120%"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/906b8ad2-63aa-4ee2-b1bf-b927de4a7cef.png" width="120%"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/2d2b1085-e878-4b96-878d-db6b78db5667.png" width="120%"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/5c7160ea-3ea9-47f7-99f6-3cb2c75d7cb7.png" width="120%"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/0de5ef87-1f9f-4c05-a4df-b4b2748023b9.png" width="120%"> <br> <img src="https://yellow-cdn.veclightyear.com/835a84d5/c52d5a70-ec6c-43a6-bde9-139361ecfcbe.png" width="120%"> <br> </p>

目录

• 安装
• FlashFace权重
• 演示
• 致谢

安装

1. 克隆FlashFace

git clone https://github.com/ali-vilab/FlashFace.git
cd FlashFace

2. 创建环境

conda create -n flashface python=3.10 -y
conda activate flashface
pip install -r requirements.txt

权重

您可以从ModelScope或Huggingface下载权重。

ModelScope

链接：ModelScope-FlashFace

Huggingface

链接：Huggingface-FlashFace

您应该下载所有相关权重并将它们放在cache文件夹中（例如FlashFace/cache/flashface.ckpt）。

演示

您可以使用notebook演示或Gradio进行推理。

python flashface/all_finetune/demo_gradio.py

致谢

受到许多与人像图像定制相关的优秀演示和仓库的启发，包括IP-Adapter、multimodalart/Ip-Adapter-FaceID、FastComposer、T2I-Adapter、PhotoMaker和InstantID。感谢他们的出色工作！

免责声明

本项目旨在对AI驱动的图像生成领域产生积极影响。用户可以自由使用此工具创建图像，但应遵守当地法律并负责任地使用。开发者不对用户可能的滥用承担任何责任。

如果您发现FlashFace对您的研究和应用有用，请使用以下BibTeX进行引用：

@article{张2024闪脸,
  标题={闪脸：保持高保真度身份的人像个性化},
  作者={张世龙 和 黄良华 和 陈曦 和 张一飞 和 吴志凡 和 冯宇彤 和 王伟 和 沈玉君 和 刘宇 和 罗平},
  期刊={arXiv预印本 arXiv:2403.17008},
  年份={2024}
}