FreeInit：弥合视频扩散模型的初始化差距

该仓库包含以下论文的实现：

FreeInit：弥合视频扩散模型的初始化差距<br> 吴天兴, 司晨阳, 姜玉明, 黄子淇, 刘子蔚<br>

来自S-Lab南洋理工大学的视频实验室

:open_book:概述

总体结构

我们提出了FreeInit，这是一种简洁而有效的方法，能够提高扩散模型生成视频的时间一致性。FreeInit不需要额外的训练，也不引入可学习的参数，可以在推理时轻松集成到任何视频扩散模型中。

:fire: 更新

[2024年1月] FreeInit 已集成到 Diffusers 和 ComfyUI-AnimateDiff-Evolved 中。特别感谢@a-r-r-o-w, @DN6 和 @Kosinkadink!
[2023年12月] 我们在 Hugging Face🤗 上发布了一个演示！欢迎试用：演示链接。
[2023年12月] Arxiv 论文已发布。
[2023年12月] 代码发布。
[2023年12月] 项目页面和视频已发布。

:page_with_curl: 使用方法

在本仓库中，我们以 AnimateDiff 为例，演示如何将 FreeInit 集成到当前的文本到视频推理管道中。

在 pipeline_animation.py 中，我们定义了一个从 AnimationPipeline 继承的类 AnimationFreeInitPipeline，展示了如何修改原始管道。

在 freeinit_utils.py 中，我们提供了用于噪声重新初始化的频率过滤代码。

在 animate_with_freeinit.py 中提供了一个推理脚本示例。

在将 FreeInit 集成到其他视频扩散模型时，请参考上述脚本。

:hammer: 快速开始

1. 克隆仓库

git clone https://github.com/TianxingWu/FreeInit.git
cd FreeInit
cd examples/AnimateDiff

2. 准备环境

conda env create -f environment.yaml
conda activate animatediff

3. 下载检查点

请参考 AnimateDiff 的官方仓库。设置指南列在这里。

4. 使用 FreeInit 推理

在下载基础模型、运动模块和个性化 T2I 检查点后，运行以下命令生成 FreeInit 动画。生成结果将保存到 outputs 文件夹中。

python -m scripts.animate_with_freeinit \
    --config "configs/prompts/freeinit_examples/RealisticVision_v2.yaml" \
    --num_iters 5 \
    --save_intermediate \
    --use_fp16

其中 num_iters 是 freeinit 迭代次数。我们推荐使用 3-5 次迭代，以平衡质量和效率。为了更快的推理，可以启用 use_fast_sampling 参数，使用粗到细采样策略，但可能会导致更差的结果。

您可以在配置文件中更改文本提示。要调整频率过滤器参数以获得更好结果，请更改配置文件中的 filter_params 设置。默认设置为 'butterworth' 滤波器，n=4, d_s=d_t=0.25。对于具有较大时间不一致性的基础模型，请考虑使用 'guassian' 滤波器。

更多具有不同运动模块/个性化 T2I 设置的 .yaml 文件也提供给测试。

🤗 Gradio 演示

我们还提供了一个 Gradio 演示，用于展示我们的方法。运行以下命令将启动演示。可以随意调整参数以提高生成质量。

python app.py

或者，您可以尝试由 Hugging Face 托管的在线演示：演示链接。

:framed_picture: 生成结果

有关更多视觉比较，请参考我们的项目页面。

:four_leaf_clover: 社区贡献

集成到 ComfyUI 扩展： ComfyUI-AnimateDiff-Evolved（作者：Kosinkadink）
集成到 HuggingFace Diffusers： Diffusers（作者：a-r-r-o-w 和 DN6）
Google Colab： FreeInit-colab（作者：camenduru）

:fountain_pen: 引用

如果您发现我们的仓库对您的研究有用，请考虑引用我们的论文：

@article{wu2023freeinit,
    title={FreeInit: Bridging Initialization Gap in Video Diffusion Models},
    author={Wu, Tianxing and Si, Chenyang and Jiang, Yuming and Huang, Ziqi and Liu, Ziwei},
    journal={arXiv preprint arXiv:2312.07537},
    year={2023}