control_v11p_sd15_seg

项目介绍：control_v11p_sd15_seg

项目背景

ControlNet v1.1 seg版本是一个图像生成项目，由Lvmin Zhang和Maneesh Agrawala开发。该项目构建在已存在的Stable Diffusion模型之上。ControlNet通过增加额外的条件来控制扩散模型，为图像生成提供了新的可能性。这个特定的检查点模型与分割图像（seg images）一起工作，使用户能够生成具有特定条件的图像。

模型概述

开发者: Lvmin Zhang 和 Maneesh Agrawala
模型类型: 基于扩散的文本到图像生成模型
使用语言: 英语
许可: CreativeML OpenRAIL M 许可证
相关资源: GitHub 仓库, 论文

ControlNet的原理

ControlNet是一种神经网络结构，旨在通过增加特定条件来控制预训练的大型扩散模型。使用ControlNet能够在小数据集（小于50k）的情况下，快速地为任务定义条件并进行端到端学习。同时，模型能够扩展到大型数据集（数百万到数十亿），从而支持多个条件输入，诸如边缘检测图、分割图、关键点等。这项技术极大地丰富了对大型扩散模型的操作手段，也为相关应用提供了更多的可能性。

模型使用示例

推荐与Stable Diffusion v1.5一同使用，因其检查点在这个模型上已被训练。通过与其他扩散模型如dreamboothed stable diffusion结合使用，也可能验证其效果。

所需安装包

要处理图像并创建辅助条件，需要安装相关的包，如下所示：

$ pip install diffusers transformers accelerate

示例代码

以下是一个简单的Python代码示例，其中展示了如何使用该模型生成新的图像：

import torch
from diffusers import ControlNetModel, StableDiffusionControlNetPipeline
from PIL import Image
import numpy as np

# 加载模型和附加组件
controlnet = ControlNetModel.from_pretrained("lllyasviel/control_v11p_sd15_seg", torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)

# 设置模型
pipe.scheduler = UniPCMultistepScheduler.from_config(pipe.scheduler.config)
pipe.enable_model_cpu_offload()

# 定义输入和生成图像
prompt = "old house in stormy weather with rain and wind"
image = Image.open("path_to_input_image.png")
control_image = Image.open("path_to_control_image.png")
generated_image = pipe(prompt, num_inference_steps=30, image=control_image).images[0]

# 保存生成的图像
generated_image.save('path_to_save_image/image_out.png')