MAGVIT: 掩码生成视频转换器

[论文] | [项目页面] | [Colab] CVPR 2023论文的官方代码和模型：

MAGVIT：掩蔽生成式视频Transformer Lijun Yu, Yong Cheng, Kihyuk Sohn, José Lezama, Han Zhang, Huiwen Chang, Alexander G. Hauptmann, Ming-Hsuan Yang, Yuan Hao, Irfan Essa, Lu Jiang CVPR 2023

概述

我们推出MAGVIT来用单一模型解决各种视频合成任务，展示了其质量、效率和灵活性。

如果您在研究中发现此代码有用，请引用：

@inproceedings{yu2023magvit,
  title={{MAGVIT}: 掩蔽生成式视频Transformer},
  author={Yu, Lijun and Cheng, Yong and Sohn, Kihyuk and Lezama, Jos{\'e} and Zhang, Han and Chang, Huiwen and Hauptmann, Alexander G and Yang, Ming-Hsuan and Hao, Yuan and Essa, Irfan and Jiang, Lu},
  booktitle={IEEE/CVF计算机视觉与模式识别会议论文集},
  year={2023}
}

免责声明

请注意，这不是Google官方支持的产品。

检查点基于公开可用数据集的训练。一些数据集包含限制，包括非商业用途限制。在使用提供的模型和数据集之前，请查看第三方提供的条款和条件。

安装

有一个用于GPU运行的conda环境文件。 JAX需要CUDA 11和CuDNN 8.6。 已测试此VM镜像。

conda env create -f environment.yaml
conda activate magvit

或者，您可以通过以下方式安装依赖项：

pip install -r requirements.txt

预训练模型

关于模型预训练权重的发布，请参见此说明。

MAGVIT 3D-VQ模型

MAGVIT transformers

每个transformer模型必须与相同数据集和模型大小的相应3D-VQ分词器一起使用。