CV-VAE

<div align="center"> <h1>CV-VAE:用于潜在生成视频模型的兼容视频VAE</h1>

赵思杰 · 张勇* · 寸晓东 · 杨绍书 · 牛牧遥

李晓宇 · 胡文博 · 单瀛

^*通讯作者

<a href='https://ailab-cvc.github.io/cvvae/index.html'><img src='https://img.shields.io/badge/项目-主页-green'></a> <a href='https://arxiv.org/abs/2405.20279'><img src='https://img.shields.io/badge/技术-报告-red'></a>

</div>

简要总结: 一种用于潜在生成视频模型的视频VAE，可与预训练的图像和视频模型兼容，如SD 2.1和SVD

<p align="center"> <img src="https://yellow-cdn.veclightyear.com/2b54e442/1b32f5ae-6cad-4e4e-9eda-b06514f9d043.gif"> </p>

新闻

• 2024-06-07 :hugs: 我们更新了SD2.1 + CV-VAE的文本到图像推理代码

• 2024-06-03 我们发布了CV-VAE的推理代码和模型权重。

• 2024-05-30 我们更新了arXiv预印本。

使用方法

依赖

• Python >= 3.8 (推荐使用Anaconda)
• PyTorch >= 1.13.0
• NVIDIA GPU + CUDA

视频重建

从Hugging Face下载模型权重

python3 cvvae_inference_video.py \
  --vae_path 模型路径 \
  --video_path 输入视频路径 \
  --save_path 视频保存路径 \
  --height 高度 \
  --width 宽度 

😉 引用

@article{zhao2024cvvae,
  title={CV-VAE: A Compatible Video VAE for Latent Generative Video Models},
  author={Zhao, Sijie and Zhang, Yong and Cun, Xiaodong and Yang, Shaoshu and Niu, Muyao and Li, Xiaoyu and Hu, Wenbo and Shan, Ying},
  journal={https://arxiv.org/abs/2405.20279},
  year={2024}
}