RestoreFormer

RestoreFormer 项目介绍

项目概述

RestoreFormer 是一个用于高质量盲人脸部修复的项目，其代码已经合并到改进版本 RestoreFormer++ 中。该项目由一支国际研究团队开发，旨在通过未降级的键值对实现高质量的面部重建。这个技术的核心是利用全面的空间注意力模型来改善过去仅使用局部操作的效果，从而更好地重建面部细节。

技术优势

RestoreFormer 的主要技术特点是它整合了多头交叉注意力层。这一层能够通过学习在损坏的查询和高质量键值对之间的全面空间交互，来提高图像的还原效果。此外，RestoreFormer 所使用的键值对取样自一个面向重建的高质量字典，这个字典包含丰富的面部特征信息，使其特别适合用于面部复原。

数据和模型准备

• 数据集：

  • 训练数据：项目所需的高质量字典和 RestoreFormer 模型均使用 FFHQ 数据集进行训练，原始图像尺寸为 1024x1024，并通过双线性插值调整为 512x512。
  • 测试数据：提供了 CelebA 测试集（高质量和低质量）、LFW 测试集、CelebChild 以及 WebPhoto 测试集。这些数据集被存储在 OneDrive 和百度云上，方便研究人员访问。

• 模型：

  • 预训练和训练后的模型同样可以通过 OneDrive 和百度云获取。用户需要将这些模型连接到指定的实验路径下。

使用说明

• 测试： 项目提供了测试脚本，用户可以通过 sh scripts/test.sh 来运行测试。

• 训练： 包含两个阶段，首先通过配置 scripts/run.sh 文件以获取高质量字典，其后进行盲人脸部修复阶段。

性能评估

提供了度量指标的脚本，用户可以通过 sh scripts/metrics/run.sh 来计算 IDD、PSRN、SSIM 和 LIPIS 指标。这些指标需要在脚本中添加 CelebA 测试数据集的路径。

项目更新与资源

项目不断更新以提升用户体验，例如上线了更完善的推理方法和在线演示平台。所有资源和详细的信息可以在项目的 GitHub 页面上找到。

参考资料与鸣谢

RestoreFormer 项目得到了包括 Taming Transformer、basicsr 和 GFPGAN 在内的开源项目的大力支持。对于有任何疑问的用户，可以通过提供的邮箱与研究人员进行联系。