FLUX.1-dev-Controlnet-Canny

FLUX.1-dev-Controlnet-Canny项目介绍

FLUX.1-dev-Controlnet-Canny项目是一个创新的图像生成项目，基于流行的深度学习模型技术，实现从文本到图像的转换。该项目通过先进的ControlNet模型技术，结合稳定扩散（Stable Diffusion）和Diffusers库，为用户提供高效、精确的图像生成解决方案。

项目背景

FLUX.1-dev-Controlnet-Canny是在FLUX.1-dev的基础型号之上开发的。该项目的开发团队利用了总像素为1024x1024的多尺度训练数据，在30,000个步骤内完成了训练，使用的批量大小为8x8。这种训练方式确保了生成的图像既高效又具有高度的细节保真度。

功能详情

文本到图像转换：该项目允许用户输入具体的文本描述（Prompt），从而生成相应的图像。例如，输入“城市中的女孩，25岁，酷炫，未来风”的描述，可以自动生成对应风格和元素的图像。
ControlNet模型集成：通过集成ControlNet模型，项目在图像生成过程中可以接受特定的图像控制输入（Control Image），以更精确地控制最终生成图像的样式和细节。
Diffusers版本兼容性：确保安装最新的Diffusers版本，能够利用项目中先进的生成算法和模型，提升图像质量和生成速度。

使用示例

用户可以通过简洁的Python代码示例，利用项目提供的API接口来生成他们想要的图像。以下是一个基本的使用示例：

import torch
from diffusers.utils import load_image
from diffusers.pipelines.flux.pipeline_flux_controlnet import FluxControlNetPipeline
from diffusers.models.controlnet_flux import FluxControlNetModel

base_model = 'black-forest-labs/FLUX.1-dev'
controlnet_model = 'InstantX/FLUX.1-dev-Controlnet-Canny'
controlnet = FluxControlNetModel.from_pretrained(controlnet_model, torch_dtype=torch.bfloat16)
pipe = FluxControlNetPipeline.from_pretrained(base_model, controlnet=controlnet, torch_dtype=torch.bfloat16)
pipe.to("cuda")

control_image = load_image("https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-Canny/resolve/main/canny.jpg")
prompt = "A girl in city, 25 years old, cool, futuristic"
image = pipe(
    prompt, 
    control_image=control_image,
    controlnet_conditioning_scale=0.6,
    num_inference_steps=28, 
    guidance_scale=3.5,
).images[0]
image.save("image.jpg")