FreeNoise

FreeNoise: 无需微调的长视频扩散通过噪声重排

🔥🔥🔥 LongerCrafter 用于生成更长的高质量视频现已发布！

<div align="center"> <p style="font-weight: bold"> ✅ 完全<span style="color: red; font-weight: bold">无</span>需微调      ✅ 额外时间少于<span style="color: red; font-weight: bold">20%</span>      ✅ 支持<span style="color: red; font-weight: bold">512</span>帧      </p>

邱浩南, 夏梦翰*, 张勇, 何英庆, <br> 王新涛, 单颖, 和刘子威* <br><br> (* 通讯作者)

来自腾讯AI实验室和南洋理工大学。

<p>输入: "一只穿着宇航服在太空漂浮的吉娃娃，电影般的灯光，发光效果"; <br> 分辨率: 1024 x 576; 帧数: 64。</p> <img src=assets/t2v/hd02.gif> <p>输入: "夜晚的篝火在一个有星空背景的雪地森林中"; <br> 分辨率: 1024 x 576; 帧数: 64。</p> </div>

🔆 介绍

🤗🤗🤗 LongerCrafter (FreeNoise) 是一种基于预训练视频扩散模型的无需微调且高效的长视频生成范式。

1. 更长的单提示文本生成视频

<div align="center"> <img src=assets/t2v/sp512.gif> <p>更长的单提示生成结果。分辨率: 256 x 256; 帧数: 512。 (压缩后)</p> </div>

2. 更长的多提示文本生成视频

<div align="center"> <img src=assets/t2v/mp256.gif> <p>更长的多提示生成结果。分辨率: 256 x 256; 帧数: 256。 (压缩后)</p> </div>

📝 更新日志

[2024.01.28]: 🔥🔥 支持FreeNoise在VideoCrafter2上！
[2024.01.23]: 🔥🔥 支持FreeNoise在其他两个视频框架AnimateDiff和LaVie上！
[2023.10.25]: 🔥🔥 发布256x256模型并支持多提示生成！
[2023.10.24]: 🔥🔥 发布LongerCrafter (FreeNoise)，支持更长的视频生成！ <br>

🧰 模型

模型	分辨率	检查点	描述
VideoCrafter (文本生成视频)	576x1024	Hugging Face	支持NVIDIA A100 (40GB)上的64帧
VideoCrafter (文本生成视频)	256x256	Hugging Face	支持NVIDIA A100 (40GB)上的512帧
VideoCrafter2 (文本生成视频)	320x512	Hugging Face	支持NVIDIA A100 (40GB)上的128帧

（当您使用较小的GPU时，减少帧数，例如256x256分辨率下的64帧。）

⚙️ 设置

通过Anaconda安装环境（推荐）

conda create -n freenoise python=3.8.5
conda activate freenoise
pip install -r requirements.txt

💫 推理

1. 更长的文本生成视频

通过 Hugging Face 下载预训练的T2V模型，并将model.ckpt放入checkpoints/base_1024_v1/model.ckpt。
在终端输入以下命令。

  sh scripts/run_text2video_freenoise_1024.sh

2. 更长的多提示文本生成视频

通过 Hugging Face 下载预训练的T2V模型，并将model.ckpt放入checkpoints/base_256_v1/model.ckpt。
在终端输入以下命令。

  sh scripts/run_text2video_freenoise_mp_256.sh

🧲 支持其他模型

FreeNoise 预期在其他类似框架上也能工作。测试兼容性的一个简单方法是通过重排噪声来查看是否可以生成一个新的类似视频（将eta设置为0）。如果您有任何关于将FreeNoise应用于其他框架的问题，请随时联系邱浩南。

当前的官方实现：FreeNoise-VideoCrafter, FreeNoise-AnimateDiff, FreeNoise-LaVie

👨‍👩‍👧‍👦 Crafter家族

VideoCrafter: 用于高质量视频生成的框架。

ScaleCrafter: 无需微调的方法用于高分辨率图像/视频生成。

TaleCrafter: 一个支持多人物的交互式故事可视化工具。

😉 引用

@misc{qiu2023freenoise,
      title={FreeNoise: Tuning-Free Longer Video Diffusion Via Noise Rescheduling}, 
      author={Haonan Qiu and Menghan Xia and Yong Zhang and Yingqing He and Xintao Wang and Ying Shan and Ziwei Liu},
      year={2023},
      eprint={2310.15169},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}