sd-webui-text2video

sd-webui-text2video 项目介绍

sd-webui-text2video 是一款为 AUTOMATIC1111 的 StableDiffusion WebUI 提供扩展功能的项目，该项目实现了多种文本生成视频（text2video）模型，比如 ModelScope 和 VideoCrafter。这些模型完全依赖于 Auto1111 的 WebUI 依赖项以及可下载的模型文件，用户无需额外登录或认证即可使用。

项目特点

• 简单易用：用户可以通过安装扩展后，直接利用已有的 WebUI 环境，输入文本提示，快速生成视频内容。
• 多种模型支持：项目集成了多种先进的文本视频合成模型（如 ModelScope 和 VideoCrafter），以满足不同用户的创作需求。
• 本地运行：不需云端计算与处理，用户可以在本地显卡上运行所需的计算任务。

系统要求

ModelScope

若使用 ModelScope 模型，推荐显存容量为 6GB 的显卡（如 NVIDIA GeForce RTX 2080 Ti），这可以处理分辨率为 256x256 和 24 帧长的视频。更高的显存容量允许处理更高帧数的视频，比如在 12GB 显存下可以生成 125 帧长的视频，20GB 显存则可以处理 250 帧长的视频。

VideoCrafter

VideoCrafter 模型在默认设置下需要大约 9.2GB 的显存。

功能特色

• LoRA 支持：项目支持包括通过指定的仓库训练的 LoRA 模型，用户可以将训练好的模型放置在 WebUI 安装定义的默认 LoRA 目录下。
• 扩展优化：加入了 Torch2 和 xformers 的优化，使得在 12GB 显存的卡上处理 125 帧长的视频成为可能。
• 持续更新与扩展：项目版本不断更新，比如支持 VAE 设置、提示语权重以及帧内/帧间动画操作。

更新与变化

• 2023-03-27：VAE 设置和“保持模型在 VRAM 中”选项移至一般 WebUI 设置。
• 2023-04-05：支持 VideoCrafter，扩展重新命名为「sd-webui-text2video」。
• 2023-04-13：加入帧内/帧间绘制功能，允许动画化现有图片及视频循环。
• 2023-04-16：WebAPI 开放使用。

举例示范

以下是一些文本生成视频的示例，用于展示项目的实际效果：

ModelScope 示例

• 提示词：cinematic explosion by greg rutkowski
• 提示词：really attractive anime girl skating, by makoto shinkai, cinematic lighting

这些示例展示了高质量的动画短片，能够突出显示项目在动画细节和灯光效果处理上的能力。

下载权重

用户可以在 HuggingFace 的仓库下载所需的预训练权重和模型文件，并将它们放在指定的目录中使用。确保将需要的文件按照指定路径放置，保证项目的正常功能。

精调模型

项目提供了模型微调的接口，用户可以通过指定的脚本将微调模型转换为原始格式，并应用于新的创作需求。

总的来说，sd-webui-text2video 可为开发者和创作者提供一个强大的工具，结合稳定的 WebUI 界面和多样化的生成模型，使得将文本转化为视频变得更加便捷和高效。考虑到显存等硬件要求，该项目在高性能硬件环境下尤其能展现其强大的制作潜力。