Stable Diffusion WebUI的AnimateDiff扩展

我最近为这个扩展添加了一个非商业性许可证。如果您想将此扩展用于商业目的，请通过电子邮件与我联系。

这个扩展旨在将AnimateDiff与CLI整合到AUTOMATIC1111 Stable Diffusion WebUI中，并结合ControlNet，形成最易用的AI视频工具包。启用此扩展后，您可以像生成图像一样轻松地生成GIF。

这个扩展以不同的方式实现了AnimateDiff。它在运行时将运动模块插入到UNet中，因此如果您不想重新加载模型权重，就不需要这样做。

您可能也会对我创建的另一个扩展感兴趣：Segment Anything for Stable Diffusion WebUI，它对于修复绘制非常有用。

Forge用户应该在此仓库中检出forge/master分支或使用sd-forge-animatediff。它们将保持同步。

更新

v2.0.0-a于2024年3月2日：整个扩展已经重新设计，使其更易于维护。
- 先决条件：WebUI >= 1.8.0 & ControlNet >=1.1.441 & PyTorch >= 2.0.0
- 新功能：
  - ControlNet修复绘制 / IP-Adapter提示词旅行 / SparseCtrl / ControlNet关键帧，详见ControlNet V2V
  - FreeInit，详见FreeInit
- 小改动：基于SD版本的mm过滤（如果在SD1.5和SDXL之间切换，请点击刷新按钮）/ 在信息文本中显示扩展版本
- 重大变更：您必须使用我的huggingface仓库中的Motion LoRA、Hotshot-XL、AnimateDiff V3 Motion Adapter。
v2.0.1-a于2024年7月12日：支持来自MMLab@CUHK的AnimateLCM。使用说明见此处。

未来计划

尽管OpenAI Sora在遵循复杂文本提示和生成复杂场景方面远胜一筹，我们相信OpenAI不会开源Sora或他们最近发布的任何其他产品。我目前的计划是继续开发这个扩展，直到有一个开源的视频模型发布，该模型具有强大的复杂场景生成能力、易于定制和像SD1.5一样良好的生态系统。

只要我们能做到，我们将尽最大努力将有趣的研究成果引入WebUI和Forge。并非所有研究都会被实现。如果您发现一个有趣的研究，欢迎提交功能请求。我们也乐于向其他同类软件学习。

话虽如此，由于维护sd-webui-controlnet的notorious难度，如果涉及"参考控制"，我们不计划在WebUI中实现任何新的研究，比如Magic Animate。这些功能将仅限于Forge。此外，ControlNet Forge Intergrated中的一些高级功能，如ControlNet逐帧蒙版，也将仅限于Forge。我真希望有时间重新设计sd-webui-controlnet，但这需要大量时间。