Stable Diffusion WebUI的AnimateDiff扩展

我最近为这个扩展添加了一个非商业性许可证。如果您想将此扩展用于商业目的，请通过电子邮件与我联系。

这个扩展旨在将AnimateDiff与CLI整合到AUTOMATIC1111 Stable Diffusion WebUI中，并结合ControlNet，形成最易用的AI视频工具包。启用此扩展后，您可以像生成图像一样轻松地生成GIF。

这个扩展以不同的方式实现了AnimateDiff。它在运行时将运动模块插入到UNet中，因此如果您不想重新加载模型权重，就不需要这样做。

您可能也会对我创建的另一个扩展感兴趣：Segment Anything for Stable Diffusion WebUI，它对于修复绘制非常有用。

Forge用户应该在此仓库中检出forge/master分支或使用sd-forge-animatediff。它们将保持同步。

目录

更新 | 未来计划 | 模型库 | 文档 | 教程 | 致谢 | Star历史 | 赞助

更新

• v2.0.0-a于2024年3月2日：整个扩展已经重新设计，使其更易于维护。
  • 先决条件：WebUI >= 1.8.0 & ControlNet >=1.1.441 & PyTorch >= 2.0.0
  • 新功能：
    • ControlNet修复绘制 / IP-Adapter提示词旅行 / SparseCtrl / ControlNet关键帧，详见ControlNet V2V
    • FreeInit，详见FreeInit
  • 小改动：基于SD版本的mm过滤（如果在SD1.5和SDXL之间切换，请点击刷新按钮）/ 在信息文本中显示扩展版本
  • 重大变更：您必须使用我的huggingface仓库中的Motion LoRA、Hotshot-XL、AnimateDiff V3 Motion Adapter。
• v2.0.1-a于2024年7月12日：支持来自MMLab@CUHK的AnimateLCM。使用说明见此处。

未来计划

尽管OpenAI Sora在遵循复杂文本提示和生成复杂场景方面远胜一筹，我们相信OpenAI不会开源Sora或他们最近发布的任何其他产品。我目前的计划是继续开发这个扩展，直到有一个开源的视频模型发布，该模型具有强大的复杂场景生成能力、易于定制和像SD1.5一样良好的生态系统。

只要我们能做到，我们将尽最大努力将有趣的研究成果引入WebUI和Forge。并非所有研究都会被实现。如果您发现一个有趣的研究，欢迎提交功能请求。我们也乐于向其他同类软件学习。

话虽如此，由于维护sd-webui-controlnet的notorious难度，如果涉及"参考控制"，我们不计划在WebUI中实现任何新的研究，比如Magic Animate。这些功能将仅限于Forge。此外，ControlNet Forge Intergrated中的一些高级功能，如ControlNet逐帧蒙版，也将仅限于Forge。我真希望有时间重新设计sd-webui-controlnet，但这需要大量时间。

模型库

我正在维护一个huggingface仓库，以fp16和safetensors格式提供所有官方模型。强烈建议您使用我的链接。您必须使用我的链接下载Motion LoRA、Hotshot-XL、AnimateDiff V3 Motion Adapter。如果您愿意，对于所有其他模型，您仍可以使用旧链接

• @guoyww的"官方"模型：Google Drive | HuggingFace | CivitAI
• @manshoety的"稳定化"社区模型：HuggingFace
• @CiaraRowles的"TemporalDiff"模型：HuggingFace

文档

• 使用方法 -> 准备工作 | 网页界面 | API | 参数
• 功能 -> 图像转视频 | 提示词旅行 | ControlNet视频到视频 | [ 模型规格 -> 动作LoRA | V3 | SDXL | AnimateLCM ]
• 性能 -> [ 优化 -> 注意力机制 | FP8 | LCM ] | 显存 | 批处理大小
• 演示 -> 基本用法 | 动作LoRA | 提示词旅行 | AnimateDiff V3 | AnimateDiff XL | ControlNet视频到视频

教程

目前YouTube和哔哩哔哩上有很多精彩的视频教程，你现在可以去看看。目前有一系列更新即将推出，在我满意之前我不想自己制作教程。当我对可用功能感到满意时，会推出官方教程。

致谢

我们感谢所有以各种方式为这个仓库做出贡献的开发者和社区用户，特别是：

• @guoyww 创建了AnimateDiff
• @limbo0000 回答了我关于AnimateDiff的问题
• @neggles和@s9roll7开发了AnimateDiff CLI提示词旅行
• @zappityzap开发了大部分输出功能
• @thiswinex开发了FreeInit
• @lllyasviel将我添加为sd-webui-controlnet的协作者，并为Forge提供技术支持
• @KohakuBlueleaf帮助开发FP8和LCM
• @TDS4874和@opparco解决了灰色问题，显著提高了性能
• @streamline提供了ControlNet视频到视频数据集和工作流程。他的工作流程非常出色，绝对值得一看。

Star历史

<a href="https://star-history.com/#continue-revolution/sd-webui-animatediff&Date"> <picture> <source media="(prefers-color-scheme: dark)" srcset="https://api.star-history.com/svg?repos=continue-revolution/sd-webui-animatediff&type=Date&theme=dark" /> <source media="(prefers-color-scheme: light)" srcset="https://api.star-history.com/svg?repos=continue-revolution/sd-webui-animatediff&type=Date" /> <img alt="Star历史图表" src="https://api.star-history.com/svg?repos=continue-revolution/sd-webui-animatediff&type=Date" /> </picture> </a>

赞助

你可以通过微信、支付宝或PayPal赞助我。你也可以通过ko-fi或爱发电支持我。

微信	支付宝	PayPal