CVPR2022-DaGAN

:book: 基于深度感知的生成对抗网络用于对话头视频生成 (CVPR 2022)

:fire: 如果DaGAN在您的照片/项目中有帮助,请帮助:star:它或向您的朋友推荐。谢谢:fire: :fire: 寻求合作和实习机会。 :fire:

[论文] [项目页面] [演示] [海报视频] Fa-Ting Hong, Longhao Zhang, Li Shen, Dan Xu 香港科技大学 阿里云

卡通示例

https://user-images.githubusercontent.com/19970321/162151632-0195292f-30b8-4122-8afd-9b1698f1e4fe.mp4

真人示例

https://user-images.githubusercontent.com/19970321/162151327-f2930231-42e3-40f2-bfca-a88529599f0f.mp4

Voxceleb1 数据集

:triangular_flag_on_post: 更新

:fire::fire::white_check_mark: 2023年7月20日: 我们的新对话头工作**MCNet被ICCV2023收录。它无需训练面部深度网络,使用户测试和微调更加便捷。
:fire::fire::white_check_mark: 2022年7月26日: 发布了普通的数据并行训练脚本,因为一些研究人员告诉我他们遇到了DistributedDataParallel问题。请尝试使用这个命令训练您自己的模型。另外,我们删除了命令行"with torch.autograd.set_detect_anomaly(True)"以提高训练速度。
:fire::fire::white_check_mark: 2022年6月26日: 发布了我们的面部深度网络repo,请参考Face-Depth-Network,如果您遇到任何问题,欢迎随时给我发电子邮件。
:fire::fire::white_check_mark: 2022年6月21日: [题外话] 我正在寻找明年欧洲的研究实习/研究助理机会。如果您认为我有资格担任您的职位,请联系我。
:fire::fire::white_check_mark: 2022年5月19日: 在Voxceleb2上训练的50层深度面部模型已发布!(DaGAN的相应检查点即将发布)。点击链接
:fire::fire::white_check_mark: 2022年4月25日: 使用Gradio集成到Huggingface Spaces 🤗。试试网页演示: (GPU版本即将推出!)
:fire::fire::white_check_mark: 添加**SPADE模型**,它产生的结果更加自然。

:wrench: 依赖和安装

Python >= 3.7 (建议使用Anaconda或Miniconda)
PyTorch >= 1.7
选项: NVIDIA GPU + CUDA
选项: Linux

安装

我们现在提供了一个DaGAN的干净版本,不需要定制的CUDA扩展。

克隆代码库

git clone https://github.com/harlanhong/CVPR2022-DaGAN.git
cd CVPR2022-DaGAN

安装依赖包

pip install -r requirements.txt

## 安装人脸对齐库
cd face-alignment
pip install -r requirements.txt
python setup.py install

:zap: 快速推理

我们以论文版本为例。更多模型可在此处找到。

YAML 配置

查看 config/vox-adv-256.yaml 以获取每个参数的描述。

预训练检查点

人脸深度网络的预训练检查点和我们的DaGAN检查点可在以下链接找到: OneDrive。

推理! 要运行演示,请下载检查点并运行以下命令:

CUDA_VISIBLE_DEVICES=0 python demo.py --config config/vox-adv-256.yaml --driving_video path/to/driving --source_image path/to/source --checkpoint path/to/checkpoint --relative --adapt_scale --kp_num 15 --generator DepthAwareGenerator

结果将保存在 result.mp4。驱动视频和源图像需要先进行裁剪才能用于我们的方法。您可以使用 python crop-video.py --inp some_youtube_video.mp4 获取一些半自动裁剪建议。它将生成使用 ffmpeg 的裁剪命令。

:computer: 训练

数据集

VoxCeleb。请遵循 https://github.com/AliaksandrSiarohin/video-preprocessing 中的说明。

在VoxCeleb上训练

要在特定数据集上训练模型,请运行:

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python -m torch.distributed.launch --master_addr="0.0.0.0" --master_port=12348 run.py --config config/vox-adv-256.yaml --name DaGAN --rgbd --batchsize 12 --kp_num 15 --generator DepthAwareGenerator

CUDA_VISIBLE_DEVICES=0,1,2,3 python run_dataparallel.py --config config/vox-adv-256.yaml --device_ids 0,1,2,3 --name DaGAN_voxceleb2_depth --rgbd --batchsize 48 --kp_num 15 --generator DepthAwareGenerator

代码将在 log 目录中创建一个文件夹(每次运行都会创建一个新的名称特定的目录)。检查点将被保存到此文件夹中。要查看训练期间的损失值,请查看 log.txt。默认情况下,批量大小是针对 8 个 GeForce RTX 3090 GPU 调优的(您可以在大约 150 个 epoch 后获得最佳性能)。您可以在 .yaml 文件的 train_params 中更改批量大小。

您还可以通过运行以下命令观看训练损失:

tensorboard --logdir log/DaGAN/log

当您在训练过程中出于某些原因杀死进程时,可能会出现僵尸进程,您可以使用我们提供的工具将其杀死:

python kill_port.py PORT

在您自己的数据集上训练

将所有视频调整为相同的大小,例如 256x256,视频可以是 '.gif'、'.mp4' 或包含图像的文件夹。我们建议使用后者,对于每个视频,都要创建一个单独的文件夹,其中包含所有以 '.png' 格式的帧。这种格式是无损的,并且具有更好的 i/o 性能。
创建一个文件夹 data/dataset_name 并包含 2 个子文件夹 train 和 test,将训练视频放在 train 中,测试视频放在 test 中。
创建一个配置文件 config/dataset_name.yaml,在 dataset_params 中指定根目录 root_dir: data/dataset_name。还要调整 train_params 中的 epoch 数。

:scroll: 致谢

我们的 DaGAN 实现受到 FOMM 的启发。我们感谢 FOMM 的作者为公众提供他们的代码。

:scroll: 参考文献

@inproceedings{hong2022depth,
            title={Depth-Aware Generative Adversarial Network for Talking Head Video Generation},
            author={Hong, Fa-Ting and Zhang, Longhao and Shen, Li and Xu, Dan},
            journal={IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
            year={2022}
          }

@article{hong2023dagan,
            title={DaGAN++: Depth-Aware Generative Adversarial Network for Talking Head Video Generation},
            author={Hong, Fa-Ting and and Shen, Li and Xu, Dan},
            journal={IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)},
            year={2023}
          }