DiffusionRig: 人脸外观编辑的个性化先验学习

DiffusionRig:人脸外观编辑的个性化先验学习

在计算机视觉和图形学领域,人脸编辑一直是一个备受关注的研究方向。如何在保持身份的同时,实现高质量、自然的人脸外观编辑,是一个具有挑战性的问题。近日,来自加州大学圣地亚哥分校和Adobe公司的研究人员提出了一种新的方法——DiffusionRig,该方法通过学习个性化的先验知识,实现了高质量的人脸外观编辑。

方法概述

DiffusionRig的核心思想是学习将简单的3D人脸模型渲染结果映射到真实照片的能力。具体来说,该方法包含两个阶段的训练:

1. 在大规模人脸数据集上学习通用的人脸先验知识
2. 在少量(约20张)目标人物的肖像照片上学习个性化的先验知识

通过这种方式,DiffusionRig能够根据粗糙的3D模型渲染结果,生成保持目标人物身份和高频细节的编辑结果。

技术细节

DiffusionRig的核心是一个条件扩散模型,其条件输入是由现成的3D人脸重建方法(如DECA)估计的粗糙3D模型。这个模型学习了从简单渲染到真实照片的映射,同时保持了目标人物的身份和高频细节。

具体的训练过程如下:

1. 第一阶段: 在FFHQ数据集上训练,学习通用的人脸先验知识。这一阶段使用8个GPU,每个GPU的batch size为32,共训练50000步。

2. 第二阶段: 在目标人物的少量照片(约20张)上微调模型,学习个性化的先验知识。这一阶段仅需一个GPU,batch size为4,训练5000步,约30分钟即可完成。

训练完成后,可以通过修改物理缓冲区(如光照、表情、头部姿势等)来编辑人脸外观。

应用效果

DiffusionRig在多个方面展现出了优秀的编辑能力:

1. 表情变换: 能够自然地改变人物的表情,如微笑、惊讶等。
2. 光照调整: 可以改变光照条件,实现不同的光影效果。
3. 姿态变化: 能够调整头部姿势,如转向、仰头等。
4. 混合编辑: 通过混合不同图像的物理缓冲区和全局潜在编码,实现更复杂的编辑效果。

与现有方法相比,DiffusionRig在保持身份和真实感方面都表现出了明显的优势。

实现细节

DiffusionRig的代码已在GitHub上开源。要使用该方法,需要按以下步骤进行:

1. 环境配置: 使用conda创建虚拟环境,安装必要的依赖包。
2. DECA设置: 下载并设置DECA所需的模型文件和资源。
3. 数据准备: 使用FFHQ数据集训练第一阶段,使用个人照片集训练第二阶段。
4. 模型训练: 分两个阶段进行训练,第一阶段学习通用先验,第二阶段学习个性化先验。
5. 推理: 使用训练好的模型进行人脸编辑。

研究团队还提供了预训练的第一阶段模型,方便用户直接进行个性化训练。同时,他们也公开了部分用于第二阶段训练的数据集,供研究使用。

总结与展望

DiffusionRig为人脸外观编辑提供了一种新的解决方案。通过学习个性化的先验知识,该方法能够在保持身份和高频细节的同时,实现高质量的人脸编辑。这种方法不仅在学术研究中具有重要意义,也有望在影视制作、虚拟现实等领域找到广泛应用。

未来的研究方向可能包括:

• 进一步提高编辑的精细度和真实感
• 扩展到更多样化的编辑任务
• 探索在更少样本下学习个性化先验的方法
• 研究如何更好地保护隐私和防止滥用

DiffusionRig的出现为人脸编辑技术带来了新的可能性,相信随着技术的不断进步,我们将看到更多令人惊叹的应用。

🔗 相关链接:

• 项目主页
• GitHub代码仓库
• 论文PDF