control_v11p_sd15_scribble

control_v11p_sd15_scribble项目简介

项目背景

ControlNet 是一个神经网络结构，旨在通过添加额外的条件来控制扩散模型。该技术的核心是将任务特定的条件，以端到端的方式传递给预训练的大型扩散模型，使其支持附加的输入条件。ControlNet 的学习具有很强的韧性，即便在训练数据集较少（小于 5 万）的情况下也能表现良好。此外，训练一个 ControlNet 的速度与微调一个扩散模型相当，用户可以在个人设备上进行训练，也可以在有强大计算能力的集群上处理规模庞大（百万到十亿量级）的数据量。

项目概述

control_v11p_sd15_scribble 是 ControlNet 的版本 1.1，与之前的版本不同，它解决了以前版本的数据集问题，包括重复和质量不佳的问题，同时适应了用户有时喜欢绘制非常粗犷的涂鸦的情况。该版本基于“Stable Diffusion v1.5”进行了训练，适合与社区提供的其他扩散模型配合使用。

功能与实现

开发团队：由张鲁敏和 Maneesh Agrawala 开发。
模型类型：基于扩散的文本到图像生成模型。
主要语言：英语。
许可证：采用 CreativeML OpenRAIL M 许可证。
模型优势：能够在少量数据下实现快速学习，适合粗线条涂鸦，并通过增强的数据处理技术提高了适用性。

实例与使用

ControlNet 在“Stable Diffusion v1.5”基础上进行训练，该组合被广泛推荐。用户在实现过程中需要安装特定的辅助工具，如 controlnet_aux 和 diffusers 等，以实现图像的额外条件处理。

示例代码

以下是使用该模型生成图像的简单示例代码片段：

import torch
from diffusers import ControlNetModel, StableDiffusionControlNetPipeline
from PIL import Image

# 载入模型
checkpoint = "lllyasviel/control_v11p_sd15_scribble"
control_image = Image.open("./images/control.png")
controlnet = ControlNetModel.from_pretrained(checkpoint, torch_dtype=torch.float16)
pipe = StableDiffusionControlNetPipeline.from_pretrained(
    "runwayml/stable-diffusion-v1-5", controlnet=controlnet, torch_dtype=torch.float16
)

# 创建图像
prompt = "royal chamber with fancy bed"
generator = torch.manual_seed(0)
image = pipe(prompt, num_inference_steps=30, generator=generator, image=control_image).images[0]

# 保存生成的图像
image.save('images/image_out.png')

其他已发布的1-1版本检查点

开发团队还发布了其他指向不同类型条件的检查点。此外，control_v11p_sd15_scribble 版本也进行了诸多改进，如修复了以前数据集的问题和优化处理厚涂鸦的能力。

结论

control_v11p_sd15_scribble 是 ControlNet 技术在图形生成领域的一次重要进展，能够帮助开发者和艺术家们通过简单的条件输入创建出他们想要的图像效果。对于对图像生成技术有兴趣的人员而言，这是一个值得深究的项目。有关更多信息和详细文档，可查阅Diffusers ControlNet 博客文章和官方文档。