GeneFace

GeneFace 项目介绍

GeneFace 是一个由浙江大学和字节跳动的多个研究人员联合开发的项目，旨在创造一种通用且高保真度的音频驱动3D说话人脸生成技术。在2023年的ICLR会议上，GeneFace在保持唇同步和表达逼真度方面表现突出，即使是对不在训练领域的音频也表现优异。

项目背景

面对目前市场上各种基于语音合成或面部动画技术的需求，GeneFace的诞生为解决音频驱动的3D说话人脸生成中的挑战带来了新的契机。与以往的NeRF（Neural Radiance Fields）方法相比，GeneFace提高了唇形同步的准确性和整体表现的真实度。

项目特色

1. 高保真度：GeneFace 在听觉驱动的情况下，实现了逼真的面部细节表达及唇同步，这使得生成的人脸动画更为自然。

2. 兼容性：对于域外音频表现出色，这意味着即使是未经过训练的声音数据，GeneFace也可以得心应手地生成符合预期质量的输出。

3. 先进的技术组件：包括RAD-NeRF作为渲染器，实时推理能力以及易于安装、比之前快8倍的深度3D重建模块等。

实施步骤

要快速开始使用GeneFace，团队提供了预训练模型和经过处理的数据集，只需按照以下四个步骤即可进行推断：

• 步骤1：创建一个新的Python环境，名为geneface。
• 步骤2：下载并解压预先提供的文件到指定目录。
• 步骤3：按照指引处理数据集。
• 步骤4：运行指定脚本进行推断，生成最终的视频。

训练自己的模型

用户不仅可以使用提供的数据集进行推断，还可以使用其他目标视频来训练GeneFace。例如，通过下载实验中使用的8个目标人物视频，或者录制自己的视频，实现独特的3D说话人脸生成。

更新与改进

• MimicTalk：一个专注于特定人物的说话人脸生成方法，质量更好并支持说话风格的控制。
• GeneFace++：作为GeneFace的升级版本，进一步提升了唇同步、视频质量及系统效率。

未来展望

随着技术的不断发展和更新，GeneFace团队持续对技术进行更新和完善，并计划在未来推出更多的技术更新及优化，以进一步提升生成质量并扩展应用场景。

GeneFace项目是在多个开源项目基础上发展而来的，感谢各开源社区提供的支持和资源。GeneFace在音频驱动的3D面部合成领域展现了卓越的能力和广阔的应用潜力。