sd-controlnet-scribble

项目介绍：sd-controlnet-scribble

项目概述

sd-controlnet-scribble是一个基于神经网络的创新项目，旨在通过添加额外的条件控制扩散模型。该项目的重点在于利用手绘草图图像进行条件控制。通过结合 Stable Diffusion，实现文本到图像的生成。

开发背景

ControlNet是开发者Lvmin Zhang和Maneesh Agrawala提出的一种神经网络结构，专门用于控制预训练的大型扩散模型。通过该结构，用户可以为大型扩散模型增加条件输入，例如边缘图、分割图和关键点等。这一技术不仅使扩散模型更加多样化，也促进了相关应用的开发。

模型详细信息

开发者: Lvmin Zhang, Maneesh Agrawala
模型类型: 基于扩散的文本到图像生成模型
使用语言: 英语
许可证: CreativeML OpenRAIL M许可证
相关资源: GitHub 仓库, 论文链接

检查点发布

作者们共发布了8个不同类型的检查点，所有模型均基于Stable Diffusion v1-5进行训练。每个模型都采用了不同类型的条件控制，例如边缘检测、深度估计、手绘草图等，其中sd-controlnet-scribble特别着重于通过草图进行图像生成。

使用示例

sd-controlnet-scribble建议与Stable Diffusion v1-5结合使用，尽管在实验中发现与其他扩散模型（例如dreamboothed stable diffusion）结合也可以正常运行。为了处理图像并生成辅助条件，用户需要安装外部依赖，如controlnet_aux。

示例代码展示了如何使用该模型将一个基本的手绘草图图像转换为复杂的输出图像。详细步骤包括安装相关库、加载手绘草图图像、通过ControlNet生成最终图像等。

训练细节

scribble模型的训练是在50万对草图、图像和对应描述文本（caption）的基础上进行的。草图图像是通过HED边界检测以及一系列数据增强技术生成的，比如阈值化、掩膜化、形态变换和非最大抑制。训练过程共耗时150个GPU小时，使用的计算资源为Nvidia A100 80G显卡，基于canny模型进行基础训练。