StoryDiffusion：南开大学最新开源，创作连续故事情节的漫画和视频

项目简介

StoryDiffusion是一个由南开大学HVision实验室开发的项目，致力于通过一致性自注意力机制，实现长序列图像和视频的生成。该项目不仅能生成一致性图像，还能预测视频中的运动，从而创造出连贯的视频故事。该技术适用于所有基于SD1.5和SDXL的图像扩散模型，并推荐用户提供至少三个文本提示以优化布局排列。

视频DEMO

关键特征

StoryDiffusion 能够通过生成一致的图像和视频来创造神奇的故事。主要特点有两部分：

1.为了实现长序列中角色一致的图像生成，采用了一致性自我关注机制。这种机制是热插拔的，兼容所有 SD1.5 和 SDXL 基础的图像扩散模型。在当前的实现中，用户需要提供至少 3 个文本提示用于一致性自我关注模块。推荐至少提供 5 - 6 个文本提示以便更好的布局安排。

2.长范围视频生成的运动预测器，该预测器在压缩的图像语义空间中预测条件图像之间的运动，实现更大范围的运动预测。

示例

示例图片

·图像到视频生成（结果为了速度进行了高度压缩）

利用一致性自我关注机制生成的图像，可以通过在这些图像之间无缝过渡来扩展到视频的生成。这可以被视为一种两阶段的长视频生成方法。

注意：为了加速，结果进行了高度压缩，你可以访问网站查看高质量版本。

https://storydiffusion.github.io/

·长视频生成（新更新）

结合这两部分，可以生成非常长且高质量的 AIGC 视频。

长视频生成

·使用条件图像的长视频结果

图像到视频模型可以通过提供一系列用户输入的条件图像来生成视频。

使用条件图像

·短视频

短视频

依赖与安装

· Python >= 3.8（推荐使用 Anaconda 或 Miniconda）

· PyTorch >= 2.0.0

conda create --name storydiffusion python=3.10
conda activate storydiffusion
pip install -U pip

# Install requirements
pip install -r requirements.txt