FLUX.1-dev-Controlnet-Inpainting-Beta

FLUX.1-dev ControlNet Inpainting - Beta项目介绍

FLUX.1-dev ControlNet Inpainting - Beta项目是由阿里妈妈创意团队开发的一个图像修复模型，作为FLUX.1-dev-Controlnet-Inpainting-Alpha模型的改进版。该模型拥有多项关键增强功能，可以在更高分辨率和更精细的细节下生成图像。

最新动态

• 2024年10月16日：发布了8步FLUX.1模型的一个新版本Turbo-Alpha，兼容当前的修复模型ControlNet。

关键增强功能

1. 1024分辨率支持：该模型可以直接处理和生成1024x1024的图像，无需额外的图像放大步骤，从而提供更高质量和更详细的输出结果。
2. 增强的细节生成：模型经过微调，可以更加细致地捕捉和再现修复区域的细节。
3. 改善的提示控制：通过更强大的提示语解析，对生成内容提供更精确的控制。

示例展示

以下图片是使用ComfyUI工作流程生成的（点击此处下载）：

• 控制强度(control-strength) = 1.0
• 控制结束百分比(control-end-percent) = 1.0
• 实际CFG(true_cfg) = 1.0

图像 & 提示输入	Alpha版本	Beta版本
提示：<i>'在木板上写几行“alimama creative”文字'</i>
提示：<i>'一个有大而美丽的白色翅膀的女孩'</i>
提示：<i>'红色头发'</i>

ComfyUI使用指南

可以通过下载示例ComfyUI工作流程进行尝试。

• 使用t5xxl-FP16和flux1-dev-fp8模型进行30步推理，分辨率为1024px，H20 GPU：
  • GPU显存使用：27GB
  • 推理时间：48秒（true_cfg=3.5），26秒（true_cfg=1）

参数调节建议

Diffusers集成

1. 安装所需的diffusers版本：

pip install diffusers==0.30.2

2. 克隆此仓库：

git clone https://github.com/alimama-creative/FLUX-Controlnet-Inpainting.git

3. 在main.py中配置image_path、mask_path和prompt，然后执行：

python main.py

模型规格

• 训练数据集：来自LAION2B和自有资源的1500万张图像
• 最佳推理分辨率：1024x1024

许可

我们的模型权重依据FLUX.1 [dev]非商业许可发布。