SyncTalk：会说话的头像合成中的同步魔鬼😈 [CVPR 2024]

这是论文 SyncTalk: 会说话的头像合成中的同步魔鬼的官方代码仓库

Colab 笔记本演示:

短视频演示可以在这里找到。

提出的 SyncTalk 合成同步的会说话的头像视频，采用三平面哈希表示来保持主体身份。它可以生成同步的唇部动作、面部表情和稳定的头部姿势，并恢复头发细节以创建高分辨率视频。

🔥🔥🔥 新闻

[2023-11-30] 更新 arXiv 论文。
[2024-03-04] 发布代码和预训练模型。
[2024-03-22] 发布 Google Colab 笔记本。
[2024-04-14] 添加 Windows 支持。
[2024-04-28] 发布预处理代码。
[2024-04-29] 修复错误：音频编码器、形状捕捉和人脸跟踪。
[2024-05-03] 尝试用高斯散射替换 NeRF。代码：GS-SyncTalk
[2024-05-24] 引入躯干训练以修复双下巴。

Windows 版本

感谢 okgpt，我们推出了 Windows 集成包，你可以下载 SyncTalk-Windows.zip 并解压，双击 inference.bat 运行演示。

下载链接：Hugging Face || 百度网盘

Linux 版本

安装

在 Ubuntu 18.04、Pytorch 1.12.1 和 CUDA 11.3 上测试通过。

git clone https://github.com/ZiqiaoPeng/SyncTalk.git
cd SyncTalk

安装依赖

conda create -n synctalk python==3.8.8
conda activate synctalk
pip install torch==1.12.1+cu113 torchvision==0.13.1+cu113 torchaudio==0.12.1 --extra-index-url https://download.pytorch.org/whl/cu113
sudo apt-get install portaudio19-dev
pip install -r requirements.txt
pip install --no-index --no-cache-dir pytorch3d -f https://dl.fbaipublicfiles.com/pytorch3d/packaging/wheels/py38_cu113_pyt1121/download.html
pip install tensorflow-gpu==2.8.1
pip install ./freqencoder
pip install ./shencoder
pip install ./gridencoder
pip install ./raymarching

如果安装 PyTorch3D 遇到问题，可以使用以下命令安装：

python ./scripts/install_pytorch3d.py

数据准备

预训练模型

请将 May.zip 放在 data 文件夹中，将 trial_may.zip 放在 model 文件夹中，然后解压它们。

[新] 处理你的视频

准备人脸解析模型。

wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_parsing/79999_iter.pth?raw=true -O data_utils/face_parsing/79999_iter.pth

准备用于头部姿势估计的 3DMM 模型。

wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/exp_info.npy?raw=true -O data_utils/face_tracking/3DMM/exp_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/keys_info.npy?raw=true -O data_utils/face_tracking/3DMM/keys_info.npy
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/sub_mesh.obj?raw=true -O data_utils/face_tracking/3DMM/sub_mesh.obj
wget https://github.com/YudongGuo/AD-NeRF/blob/master/data_util/face_tracking/3DMM/topology_info.npy?raw=true -O data_utils/face_tracking/3DMM/topology_info.npy

从 Basel Face Model 2009 下载 3DMM 模型：

# 1. 复制 01_MorphableModel.mat 到 data_util/face_tracking/3DMM/
# 2.
  cd data_utils/face_tracking
  python convert_BFM.py

将你的视频放在 data/<ID>/<ID>.mp4 下，然后运行以下命令处理视频。

[注意] 视频必须是 25FPS，所有帧都包含说话的人。分辨率应该约为 512x512，时长约 4-5 分钟。
```
python data_utils/process.py data/<ID>/<ID>.mp4 --asr ave
```
你可以选择使用 AVE、DeepSpeech 或 Hubert。处理后的视频将保存在 data 文件夹中。
[可选] 获取眨眼的 AU45

在 OpenFace 中运行 FeatureExtraction，重命名并移动输出的 CSV 文件到 data/<ID>/au.csv。

[注意] 由于 EmoTalk 的形状捕捉未开源，这里的预处理代码被替换为 mediapipe 的形状捕捉。但根据一些反馈，它效果不佳，你可以选择用 AU45 替换。如果你想与 SyncTalk 进行比较，可以在这里获取一些使用 EmoTalk 捕捉的结果，以及 GeneFace 的视频。

快速开始

运行评估代码

python main.py data/May --workspace model/trial_may -O --test --asr_model ave

python main.py data/May --workspace model/trial_may -O --test --asr_model ave --portrait

"ave" 指的是我们的音视频编码器，"portrait" 表示将生成的人脸贴回原图，代表更高的质量。

如果运行正确，你将得到以下结果。

设置	PSNR	LPIPS	LMD
SyncTalk (不带 Portrait)	32.201	0.0394	2.822
SyncTalk (带 Portrait)	37.644	0.0117	2.825

这是针对单个主体的结果；论文报告了多个主体的平均结果。

使用目标音频进行推理

python main.py data/May --workspace model/trial_may -O --test --test_train --asr_model ave --portrait --aud ./demo/test.wav

请使用 ".wav" 扩展名的文件进行推理，推理结果将保存在 "model/trial_may/results/" 中。如果不使用音视频编码器，请将 wav 替换为 npy 文件路径。

DeepSpeech

python data_utils/deepspeech_features/extract_ds_features.py --input data/<name>.wav # 保存到 data/<name>.npy

HuBERT

# 借鉴自GeneFace。英语预训练。
python data_utils/hubert.py --wav data/<name>.wav # 保存到 data/<name>_hu.npy

训练

# 默认情况下，我们是即时从磁盘加载数据。
# 我们也可以预先将所有数据加载到CPU/GPU以加快训练速度，但这对大型数据集来说非常耗内存。
# `--preload 0`: 从磁盘加载（默认，较慢）。
# `--preload 1`: 加载到CPU（稍慢）
# `--preload 2`: 加载到GPU（快速）
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model ave
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model ave

# 或者你可以使用脚本进行训练
sh ./scripts/train_may.sh

[提示] 音视频编码器（AVE）适用于唇形同步准确且嘴唇运动幅度大的角色，如May和Shaheen。在推理阶段使用AVE可以实现更准确的唇形同步。如果您的训练结果出现嘴唇抖动，请尝试使用deepspeech或hubert模型作为音频特征编码器。

# 使用deepspeech模型
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model deepspeech
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model deepspeech

# 使用hubert模型
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model hubert
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model hubert

如果您想使用OpenFace的au45作为眼睛参数，请在命令行中添加"--au45"。

# 使用OpenFace AU45
python main.py data/May --workspace model/trial_may -O --iters 60000 --asr_model ave --au45
python main.py data/May --workspace model/trial_may -O --iters 100000 --finetune_lips --patch_size 64 --asr_model ave --au45

测试

python main.py data/May --workspace model/trial_may -O --test --asr_model ave --portrait

训练与测试躯干 [修复双下巴]

如果您的角色只训练头部出现双下巴问题，您可以引入躯干训练。通过训练躯干，可以解决这个问题，但是**您将无法使用"--portrait"模式。**如果您添加"--portrait"，躯干模型将失效！

# 训练
# <head>.pth 应该是trial_may中最新的检查点
python main.py data/May/ --workspace model/trial_may_torso/ -O --torso --head_ckpt <head>.pth --iters 150000 --asr_model ave

# 例如
python main.py data/May/ --workspace model/trial_may_torso/ -O --torso --head_ckpt model/trial_may/ngp_ep0019.pth --iters 150000 --asr_model ave

# 测试
python main.py data/May --workspace model/trial_may_torso -O  --torso --test --asr_model ave  # 不支持 --portrait

# 使用目标音频进行推理
python main.py data/May --workspace model/trial_may_torso -O  --torso --test --test_train --asr_model ave --aud ./demo/test.wav # 不支持 --portrait

引用

@InProceedings{peng2023synctalk,
  title     = {SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis}, 
  author    = {Ziqiao Peng and Wentao Hu and Yue Shi and Xiangyu Zhu and Xiaomei Zhang and Jun He and Hongyan Liu and Zhaoxin Fan},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month     = {June},
  year      = {2024},
}