Wav2Lip：准确地在自然场景中为视频进行唇形同步

Wav2Lip 在 Sync Labs 免费托管

您是否想将此集成到产品中？我们提供了一个现成的托管 API，其中包含新的和改进的唇形同步模型：https://synclabs.so/

对于任何其他商业/企业需求，请通过 pavan@synclabs.so 和 prady@synclabs.so 与我们联系。

要直接联系作者，您可以通过 prajwal@synclabs.so、rudrabha@synclabs.so 联系我们。

此代码是发表在 ACM Multimedia 2020 的论文《A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild》的一部分。

[论文徽章图片]

📑 原始论文	📰 项目页面	🌀 演示	⚡ 在线测试	📔 Colab 笔记本
论文	项目页面	演示视频	交互式演示	Colab 笔记本 /更新的 Colab 笔记本

[Logo 图片]

亮点

视觉质量判别器的权重已在 readme 中更新！
高精度地将视频与任何目标语音进行唇形同步 :100:。试试我们的交互式演示。
:sparkles: 适用于任何身份、声音和语言。也适用于 CGI 面部和合成声音。
完整的训练代码、推理代码和预训练模型均可用 :boom:
或者，使用 Google Colab 笔记本快速开始：链接。检查点和样本也可在 Google Drive 文件夹中获得。还有一个教程视频，由 What Make Art 提供。此外，感谢 Eyal Gruss，有一个更易访问的 Google Colab 笔记本，具有更多有用功能。教程 Colab 笔记本在此链接。
:fire: :fire: 发布了几个新的、可靠的评估基准和指标[本仓库的 evaluation/ 文件夹]。还提供了计算论文中报告的指标的说明。

免责声明

此开源代码或我们的演示网站的所有结果应仅用于研究/学术/个人目的。由于模型是在 <a href="http://www.robots.ox.ac.uk/~vgg/data/lip_reading/lrs2.html">LRS2 数据集</a>上训练的，严禁任何形式的商业使用。如有商业需求，请直接与我们联系！

先决条件

Python 3.6
ffmpeg：sudo apt-get install ffmpeg
使用 pip install -r requirements.txt 安装必要的包。或者，这里提供了使用 docker 镜像的说明。如果遇到任何问题，请查看这条评论并在gist上发表评论。
人脸检测预训练模型应下载到 face_detection/detection/sfd/s3fd.pth。如果上述链接不可用，可使用替代链接。

获取权重

模型	描述	模型链接
Wav2Lip	高精度唇形同步	链接
Wav2Lip + GAN	唇形同步略微逊色，但视觉质量更佳	链接
专家判别器	专家判别器的权重	链接
视觉质量判别器	在 GAN 设置中训练的视觉判别器的权重	链接

使用预训练模型为视频进行唇形同步（推理）

您可以将任何视频与任何音频进行唇形同步：

python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>

结果（默认）保存在 results/result_voice.mp4。您可以将其指定为参数，类似于其他几个可用选项。音频源可以是 FFMPEG 支持的任何包含音频数据的文件：*.wav、*.mp3 甚至视频文件，代码会自动提取音频。

获得更好结果的技巧：

尝试使用 --pads 参数调整检测到的人脸边界框。通常会带来改进的结果。您可能需要增加底部填充以包含下巴区域。例如 --pads 0 20 0 0。
如果您看到嘴部位置错位或一些奇怪的瑕疵，如出现两个嘴巴，那可能是因为过度平滑了人脸检测。使用 --nosmooth 参数再试一次。
尝试使用 --resize_factor 参数，以获得较低分辨率的视频。为什么？模型是在较低分辨率的人脸上训练的。对于 720p 视频，您可能会得到比 1080p 视频更好、视觉效果更佳的结果（在许多情况下，后者也能很好地工作）。
没有 GAN 的 Wav2Lip 模型通常需要更多地尝试上述两点以获得最理想的结果，有时也可以给您更好的结果。

准备 LRS2 用于训练

我们的模型在 LRS2 上训练。有关在其他数据集上训练的一些建议，请参见此处。

LRS2 数据集文件夹结构

data_root (mvlrs_v1)
├── main, pretrain (我们在这项工作中只使用 main 文件夹)
|	├── 文件夹列表
|	│   ├── 以 (.mp4) 结尾的五位数视频 ID

将 LRS2 文件列表（train、val、test）.txt 文件放在 filelists/ 文件夹中。

预处理数据集以加快训练速度

python preprocess.py --data_root data_root/main --preprocessed_root lrs2_preprocessed/

还可以设置其他选项,如batch_size和并行使用的GPU数量。

预处理后的LRS2文件夹结构

preprocessed_root (lrs2_preprocessed)
├── 文件夹列表
|	├── 包含五位数视频ID的文件夹
|	│   ├── *.jpg
|	│   ├── audio.wav

训练!

有两个主要步骤:(i)训练专家唇形同步判别器,(ii)训练Wav2Lip模型。

训练专家判别器

如果想跳过这一步,可以下载预训练权重。要训练它:

python color_syncnet_train.py --data_root lrs2_preprocessed/ --checkpoint_dir <保存检查点的文件夹>

训练Wav2Lip模型

你可以选择不使用额外的视觉质量判别器来训练模型(训练时间<1天),或使用判别器(~2天)。对于前者,运行:

python wav2lip_train.py --data_root lrs2_preprocessed/ --checkpoint_dir <保存检查点的文件夹> --syncnet_checkpoint_path <专家判别器检查点路径>

要使用视觉质量判别器进行训练,应该运行hq_wav2lip_train.py。两个文件的参数类似。在这两种情况下,你都可以恢复训练。查看python wav2lip_train.py --help获取更多详细信息。你还可以在hparams.py文件底部设置其他不太常用的超参数。

在LRS2以外的数据集上训练

在其他数据集上训练可能需要修改代码。在提出问题之前,请阅读以下内容:

在单个说话人的几分钟数据上训练/微调可能无法获得好的结果。这是一个单独的研究问题,我们目前还没有解决方案。因此,我们很可能无法解决你的问题。
在训练Wav2Lip之前,你必须先为自己的数据集训练专家判别器。
如果是从网上下载的自己的数据集,在大多数情况下需要进行同步校正。
注意数据集视频的FPS。更改FPS需要对代码进行重大修改。
专家判别器的评估损失应降至~~0.25,Wav2Lip的评估同步损失应降至~~0.2才能获得好的结果。

在提出这个主题的问题时,请让我们知道你已经了解所有这些要点。

我们有一个在允许商业使用的数据集上训练的HD模型。在我们的新模型中,生成的人脸大小将为192 x 288。

评估

请查看evaluation/文件夹获取说明。

许可和引用

本仓库仅可用于个人/研究/非商业目的。但是,对于商业请求,请直接通过rudrabha@synclabs.so或prajwal@synclabs.so与我们联系。我们在这里提供了一个具有新的和改进的唇形同步模型的即用型托管API:https://synclabs.so/ 在我们的新模型中,生成的人脸大小将为192 x 288。如果使用此仓库,请引用以下论文:

@inproceedings{10.1145/3394171.3413532,
author = {Prajwal, K R and Mukhopadhyay, Rudrabha and Namboodiri, Vinay P. and Jawahar, C.V.},
title = {A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild},
year = {2020},
isbn = {9781450379885},
publisher = {Association for Computing Machinery},
address = {New York, NY, USA},
url = {https://doi.org/10.1145/3394171.3413532},
doi = {10.1145/3394171.3413532},
booktitle = {Proceedings of the 28th ACM International Conference on Multimedia},
pages = {484–492},
numpages = {9},
keywords = {lip sync, talking face generation, video generation},
location = {Seattle, WA, USA},
series = {MM '20}
}