PSGAN

这是我们发表在 CVPR 2020 口头报告的论文"PSGAN: 姿态和表情鲁棒的空间感知 GAN 用于可定制化妆迁移"的代码。

由 蒋文涛、刘斯、高晨、曹杰、何冉、冯佳时、颜水成 贡献。

该代码由 万朝逸 进行了进一步修改。

除了原始算法外，我们还使用拉普拉斯变换添加了高分辨率人脸支持。

清单

• 更多结果
• 视频演示
• 局部妆容迁移示例
• 插值妆容迁移示例
• GPU 推理
• 训练代码

要求

该代码在 Ubuntu 16.04、Python 3.6 和 PyTorch 1.5 环境下进行了测试。

对于人脸解析和关键点检测，我们使用 dlib 进行快速实现。

如果您使用 GPU 进行推理，请务必确保您的 dlib 支持 GPU。

测试

运行 python3 demo.py 或 python3 demo.py --device cuda 进行 GPU 推理。

训练

1. 从链接下载训练数据，并将其移动到名为"data"的子目录中。（对于百度网盘用户，您可以在这里下载数据。密码：rtdd）

您的数据目录应该如下所示：

data
├── images
│   ├── makeup
│   └── non-makeup
├── landmarks
│   ├── makeup
│   └── non-makeup
├── makeup.txt
├── non-makeup.txt
├── segs
│   ├── makeup
│   └── non-makeup

2. python3 train.py

详细配置可以在 configs/base.yaml 中找到和修改，同时也支持命令行修改。

注意： 虽然目前支持多 GPU 训练，但由于 PyTorch 数据并行和 GPU 成本的限制，采用的 GPU 数量和批量大小应该相同。

更多结果

MT 数据集（正面人脸图像，表情中性）

MWild 数据集（不同姿态和表情的图像）

视频妆容迁移（通过简单地对每一帧应用 PSGAN）

引用

如果本项目对您的研究有帮助，请考虑在您的出版物中引用它。以下是 BibTeX 引用。BibTeX 条目需要 url LaTeX 包。

@InProceedings{Jiang_2020_CVPR,
  author = {Jiang, Wentao and Liu, Si and Gao, Chen and Cao, Jie and He, Ran and Feng, Jiashi and Yan, Shuicheng},
  title = {PSGAN: Pose and Expression Robust Spatial-Aware GAN for Customizable Makeup Transfer},
  booktitle = {IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  month = {June},
  year = {2020}
}

@article{liu2021psgan++,
  title={PSGAN++: robust detail-preserving makeup transfer and removal},
  author={Liu, Si and Jiang, Wentao and Gao, Chen and He, Ran and Feng, Jiashi and Li, Bo and Yan, Shuicheng},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  volume={44},
  number={11},
  pages={8538--8551},
  year={2021},
  publisher={IEEE}
}

致谢

部分代码基于 face-parsing.PyTorch 和 BeautyGAN 构建。

欢迎您提交问题和贡献拉取请求。