MistoLine

控制每一条线！

介绍图片您可以在此处下载模型：HuggingFace 仓库

MistoLine：一个多功能且稳健的 SDXL-ControlNet 模型，用于适应性线条艺术调节。

MistoLine 是一个 SDXL-ControlNet 模型，能够适应任何类型的线条艺术输入，展现出高精度和出色的稳定性。它可以根据用户提供的各种类型的线条艺术生成高质量图像（短边大于 1024 像素），包括手绘草图、不同的 ControlNet 线条预处理器和模型生成的轮廓。MistoLine 消除了为不同线条预处理器选择不同 ControlNet 模型的需求，因为它在各种线条艺术条件下表现出强大的泛化能力。

我们通过采用新颖的线条预处理算法 Anyline 并基于 stabilityai/stable-diffusion-xl-base-1.0 的 Unet 重新训练 ControlNet 模型，同时在大型模型训练工程方面进行创新，开发了 MistoLine。MistoLine 在不同类型的线条艺术输入中展现出卓越的性能，在细节还原、提示对齐和稳定性方面超越了现有的 ControlNet 模型，尤其是在更复杂的场景中。

MistoLine 与 @lllyasviel 发布的 ControlNet 架构保持一致，如下图所示： 参考：https://github.com/lllyasviel/ControlNet

有关 ControlNet 的更多信息可以在以下参考资料中找到： https://github.com/lllyasviel/ControlNet https://huggingface.co/docs/diffusers/main/en/api/pipelines/controlnet_sdxl

该模型与大多数 SDXL 模型兼容，但 PlaygroundV2.5、CosXL 和 SDXL-Lightning（可能）除外。它可以与 LCM 和其他 ControlNet 模型一起使用。

不允许以下使用方式：

违反法律法规
伤害或剥削未成年人
制造和传播虚假信息
侵犯他人隐私
诽谤或骚扰他人
进行损害他人合法权益的自动化决策
基于社会行为或个人特征的歧视
利用特定群体的弱点误导其行为
基于受法律保护特征的歧视
提供医疗建议和诊断结果
不当生成和使用执法和移民等信息

模型输出未经审查，作者不认可生成内容中的观点。使用风险自负。

如果您出于商业目的使用或分发此模型，您必须遵守以下条件：

在产品的文档、网站或其他显眼可见的位置清楚地说明 TheMisto.ai 对该模型的贡献。示例："本产品使用了 TheMisto.ai 开发的 MistoLine-SDXL-ControlNet。"
如果您的产品包含关于界面、自述文件或其他类似显示区域，您必须在这些区域包含上述署名信息。
如果您的产品没有上述区域，您必须在产品内的其他合理位置包含署名信息，以确保最终用户能够注意到。
您不得以任何方式暗示 TheMisto.ai 认可或推广您的产品。使用署名信息仅用于表明此模型的来源。如果您对如何在特定情况下提供署名有任何疑问，请联系 info@themisto.ai。

署名条款

如果您在商业用途中使用或分发本模型，您必须满足以下条件：

在产品的文档、网站或其他主要可见位置，明确提及 TheMisto.ai 对本软件的贡献。示例："本产品使用了 TheMisto.ai 开发的 MistoLine-SDXL-ControlNet。"
如果您的产品包含有关屏幕、说明文件或其他类似的显示区域，您必须在这些区域中包含上述署名信息。
如果您的产品没有上述区域，您必须在产品的其他合理位置包含署名信息，以确保最终用户能够注意到。
您不得以任何方式暗示 TheMisto.ai 为您的产品背书或促销。署名信息的使用仅用于表明本模型的来源。如果您对如何在特定情况下提供署名有任何疑问，请联系info@themisto.ai。

使用不同线条预处理器的应用

预处理器

与其他Controlnet的比较

应用示例

草图渲染

以下案例仅使用MistoLine作为controlnet： 草图渲染

模型渲染

以下案例仅使用Anyline作为预处理器，MistoLine作为controlnet。 模型渲染

ComfyUI推荐参数

采样器步数：30
CFG：7.0
采样器名称：dpmpp_2m_sde
调度器：karras
去噪：0.93
controlnet强度：1.0
起始百分比：0.0
结束百分比：0.9

检查点

mistoLine_rank256.safetensors：通用版本，适用于ComfyUI和AUTOMATIC1111-WebUI。
mistoLine_fp16.safetensors：FP16权重，适用于ComfyUI和AUTOMATIC1111-WebUI。

!!!mistoLine_rank256.safetensors优于mistoLine_fp16.safetensors

!!!mistoLine_rank256.safetensors表现更加出色！！

ComfyUI使用方法

在SDXL中使用Anyline+Mistoline的标准工作流程如下

您可以在此下载该工作流程的JSON文件：ComfyUI工作流程

中国（大陆地区）便捷下载地址：

链接：https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG_w?pwd=8mzs
提取码：8mzs

引用

@misc{
      title={为文本到图像扩散模型添加条件控制},
      author={张吕民, 饶安怡, Maneesh Agrawala},
      year={2023},
      eprint={2302.05543},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}