Tune-A-Video

这个仓库是 Tune-A-Video 的官方实现。

Tune-A-Video：图像扩散模型的一次性微调用于文本到视频生成 Jay Zhangjie Wu, Yixiao Ge, Xintao Wang, Stan Weixian Lei, Yuchao Gu, Yufei Shi, Wynne Hsu, Ying Shan, Xiaohu Qie, Mike Zheng Shou

<img src="https://yellow-cdn.veclightyear.com/835a84d5/cbaa8660-5c58-40a0-9961-b6212ba0bb86.gif" width="1080px"/> 给定一个视频-文本对作为输入，我们的方法 Tune-A-Video 微调预训练的文本到图像扩散模型用于文本到视频生成。

新闻

🚨 宣布 LOVEU-TGVE：一个基于 AI 的视频编辑 CVPR 比赛！提交截止日期为 6 月 5 日。不要错过！🤩

[2023/02/22] 使用 DDIM 反演改进一致性。
[2023/02/08] Colab 演示发布！
[2023/02/03] 预训练的 Tune-A-Video 模型可在 Hugging Face 库上获取！
[2023/01/28] 新功能：在个性化 DreamBooth 模型上微调视频。
[2023/01/28] 代码发布！

设置

要求

pip install -r requirements.txt

强烈建议安装 xformers 以提高 GPU 上的效率和速度。要启用 xformers，请设置 enable_xformers_memory_efficient_attention=True（默认）。

权重

[Stable Diffusion] Stable Diffusion 是一个潜在的文本到图像扩散模型，能够根据任何文本输入生成逼真的图像。预训练的 Stable Diffusion 模型可以从 Hugging Face 下载（例如，Stable Diffusion v1-4，v2-1）。您还可以使用在不同风格上训练的微调 Stable Diffusion 模型（例如，Modern Disney，Anything V4.0，Redshift 等）。

[DreamBooth] DreamBooth 是一种方法，可以通过仅几张图像（3~5 张）个性化 Stable Diffusion 等文本到图像模型。在 DreamBooth 模型上微调视频允许对特定主题进行个性化的文本到视频生成。Hugging Face 上有一些公开的 DreamBooth 模型（例如，mr-potato-head）。您也可以按照这个训练示例训练自己的 DreamBooth 模型。

使用方法

训练

要微调文本到图像扩散模型用于文本到视频生成，请运行此命令：

accelerate launch train_tuneavideo.py --config="configs/man-skiing.yaml"

注意：微调一个 24 帧的视频通常需要 300~500 步，使用一个 A100 GPU 大约需要 10~15 分钟。如果您的 GPU 内存有限，请减少 n_sample_frames。

推理

训练完成后，运行推理：

from tuneavideo.pipelines.pipeline_tuneavideo import TuneAVideoPipeline
from tuneavideo.models.unet import UNet3DConditionModel
from tuneavideo.util import save_videos_grid
import torch

pretrained_model_path = "./checkpoints/stable-diffusion-v1-4"
my_model_path = "./outputs/man-skiing"
unet = UNet3DConditionModel.from_pretrained(my_model_path, subfolder='unet', torch_dtype=torch.float16).to('cuda')
pipe = TuneAVideoPipeline.from_pretrained(pretrained_model_path, unet=unet, torch_dtype=torch.float16).to("cuda")
pipe.enable_xformers_memory_efficient_attention()
pipe.enable_vae_slicing()

prompt = "spider man is skiing"
ddim_inv_latent = torch.load(f"{my_model_path}/inv_latents/ddim_latent-500.pt").to(torch.float16)
video = pipe(prompt, latents=ddim_inv_latent, video_length=24, height=512, width=512, num_inference_steps=50, guidance_scale=12.5).videos

save_videos_grid(video, f"./{prompt}.gif")

结果

预训练 T2I（Stable Diffusion）

<table class="center"> <tr> <td style="text-align:center;">输入视频</td> <td style="text-align:center;" colspan="3">输出视频</td> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/d1696ac5-e6ce-4468-98dd-428b212f65df.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/0912b2e7-64a2-4823-bc1e-cdc48e784b69.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/d7203279-6342-4668-afb1-f63126d76f12.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/2b2acc67-39c0-472c-867a-3ce4fa7c970e.gif"></td> </tr> <tr> <td width=25% style="text-align:center;color:gray;">"一个男人在滑雪"</td> <td width=25% style="text-align:center;">"蜘蛛侠在海滩上滑雪，卡通风格"</td> <td width=25% style="text-align:center;">"神奇女侠戴着牛仔帽在滑雪"</td> <td width=25% style="text-align:center;">"一个男人穿着粉色衣服在日落时分滑雪"</td> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/01971ae5-4ed2-4628-9ca0-79f0d627571b.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/06931c01-2f50-4904-a6db-9a1c0e9a3f35.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/3f55ca96-6ba5-44ce-83c1-21d4bc3fff4c.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/64f27919-bad1-4b0f-a546-7394ba007e5e.gif"></td> </tr> <tr> <td width=25% style="text-align:center;color:gray;">"一只兔子在桌子上吃西瓜"</td> <td width=25% style="text-align:center;">"一只兔子<del>吃西瓜</del>在桌子上"</td> <td width=25% style="text-align:center;">"一只戴着太阳镜的猫在海滩上吃西瓜"</td> <td width=25% style="text-align:center;">"一只小狗在桌子上吃芝士汉堡，漫画风格"</td> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/df3eb1d7-a77d-48d8-b021-d279467880c8.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/9e2c7a55-66ce-4029-bc24-219713661d8f.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/ff222fa8-5693-48ac-9b14-71ee409f2f78.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/3e8aa384-2ffe-4f22-9079-ad5a587e4c47.gif"></td> </tr> <tr> <td width=25% style="text-align:center;color:gray;">"一辆吉普车在路上行驶"</td> <td width=25% style="text-align:center;">"一辆保时捷在海滩上行驶"</td> <td width=25% style="text-align:center;">"一辆汽车在路上行驶，卡通风格"</td> <td width=25% style="text-align:center;">"一辆汽车在雪地上行驶"</td> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/4e8d2edb-e892-4b14-8f79-7e2487d9b739.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/15a230ba-5bd8-42d5-859c-7f84e7d23882.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/49ffbe37-219d-4db3-8fdb-c3bca08e606b.gif"></td> <td><img src="https://yellow-cdn.veclightyear.com/835a84d5/854cad6c-f02f-4bdb-8abb-6aefa8e8fe47.gif"></td> </tr> <tr> <td width=25% style="text-align:center;color:gray;">"一个男人在运球"</td> <td width=25% style="text-align:center;">"詹姆斯·邦德在海滩上运球"</td> <td width=25% style="text-align:center;">"一位宇航员以卡通风格运球"</td> <td width=25% style="text-align:center;">"一个穿黑西装的乐高人在运球"</td> </tr> </table>

预训练的文本到图像模型（个性化DreamBooth）

引用

如果您使用了我们的工作，请引用我们的论文。

@inproceedings{wu2023tune,
  title={Tune-a-video: One-shot tuning of image diffusion models for text-to-video generation},
  author={Wu, Jay Zhangjie and Ge, Yixiao and Wang, Xintao and Lei, Stan Weixian and Gu, Yuchao and Shi, Yufei and Hsu, Wynne and Shan, Ying and Qie, Xiaohu and Shou, Mike Zheng},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision},
  pages={7623--7633},
  year={2023}
}