视听一体

本仓库包含了"视听一体化:基于扩散潜在对齐器的开放域视听生成(CVPR 2024)"的官方代码。

🔮 方法

框架概览。 我们的方法versatile，可以解决四个任务:联合视频音频生成(Joint-VA)、视频到音频(V2A)、音频到视频(A2V)和图像到音频(I2A)。通过利用多模态绑定器(如预训练的ImageBind)，我们在设计用于生成单一模态的独立生成模型之间建立了连接。这使我们能够实现双向条件生成和联合视频/音频生成。

🔆 摘要

视频和音频内容创作是电影行业和专业用户的核心技术。近期，现有的基于扩散的方法分别处理视频和音频生成，这阻碍了该技术从学术界向产业界的转化。在本研究中，我们旨在填补这一空白，通过精心设计的基于优化的框架实现跨视听和联合视听生成。我们观察到现成的视频或音频生成模型具有强大的生成能力。因此，我们不是从头开始训练庞大的模型，而是提出通过共享的潜在表示空间来连接现有的强大模型。

具体而言，我们提出了一个基于预训练ImageBind模型的多模态潜在对齐器。我们的潜在对齐器与在推理时指导扩散去噪过程的分类器引导有相似的核心。通过精心设计的优化策略和损失函数，我们展示了我们的方法在联合视频音频生成、视觉引导的音频生成和音频引导的视觉生成任务上的卓越性能。项目网站可在https://yzxing87.github.io/Seeing-and-Hearing/找到。

视听一体化:基于扩散潜在对齐器的开放域视听生成 <br> 邢亚洲^{* 1}，何颖晴^{* 1}，田泽越^{* 1}，王鑫涛²，陈启峰¹ (*表示贡献相同)<br> ¹香港科技大学, ²腾讯PCG ARC实验室 <br>

[论文] [项目主页]

待办事项

• 开源v2a代码
• 开源评估代码
• 开源joint-va、a2v和i2v代码

⚙️ 代码

安装

请按以下说明操作：

git clone https://github.com/yzxing87/Seeing-and-Hearing.git
cd Seeing-and-Hearing/v2a
conda create -n seeing python=3.10
conda activate seeing
pip install -r pip_env3.txt

pip install git+https://github.com/yzxing87/transformers

pip install "git+https://github.com/facebookresearch/pytorchvideo.git"

pip install transformers_stream_generator

V2A生成

1. 下载必要的检查点

   (1) 从huggingface仓库下载audioldm检查点。将检查点放到ckpt/。

   mkdir ckpt; cd ckpt
   git clone https://huggingface.co/cvssp/audioldm-m-full
   cd ..
   

   (2) 从官方仓库下载imagebind检查点imagebind_huge.pth。将检查点放到imagebind/.checkpoints/。

   mkdir imagebind/.checkpoints; cd imagebind/.checkpoints
   wget https://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pth
   cd ../..
   

   (3) 从huggingface仓库下载qwen检查点。将检查点放到qwen_ckpt/。

   mkdir qwen_ckpt; cd qwen_ckpt
   git clone https://huggingface.co/Qwen/Qwen-VL-Chat
   cd ..
   

2. 按照pipeline.sh操作

🤗 引用

@inproceedings{xing24seeing,
  title     = {Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners},
  author    = {Xing, Yazhou and He, Yingqing and Tian, Zeyue and Wang, Xintao and Chen, Qifeng},
  booktitle = {CVPR},
  year      = {2024}
}

📭 联系

如果您有任何评论或问题，请随时联系邢亚洲、何颖晴或田泽越。

许可证

请遵循CC-BY-NC。