SPIGA: 利用图注意力网络实现的面部地标保真.

该存储库包含了SPIGA,一种人脸对齐和头部姿态估计器的源代码,它利用了CNN和GNN架构的互补优势,在外观发生强烈变化的情况下产生合理的人脸形状。

它在以下任务中取得了领先的结果:

安装

该存储库已在Ubuntu 20.04、CUDA 11.4、最新版本的cuDNN、Python 3.8和Pytorch 1.12.1上进行了测试。要运行视频解析器演示或评估算法,请从源代码安装存储库:

# 最佳实践:
#  1. 创建一个虚拟环境。
#  2. 根据您的CUDA版本安装Pytorch。
#  3. 从源代码安装SPIGA:

git clone https://github.com/andresprados/SPIGA.git
cd spiga
pip install -e.  

# 若要运行视频解析器演示,请安装额外的要求。
pip install -e.[demo]

模型: 默认情况下,模型权重会自动下载并存储在 ./spiga/models/weights/。您也可以从Hugging Face和Google Drive下载它们。

注意: 所有可调用的文件都提供了一个详细的解析器,描述了程序的行为及其输入。请使用扩展名 --help 检查操作模式。

推理和演示

我们在 ./spiga/inference 提供了SPIGA的推理框架。模型可以通过添加几行代码轻松部署在第三方项目中。查看我们的推理和应用程序教程,了解更多信息:

教程	笔记本
图像推理示例
人脸视频分析器演示

</div>

人脸视频分析器演示:

该演示应用程序提供了一个用于在图像或视频中跟踪、检测和提取人脸特征的通用框架。您可以使用以下命令运行演示:

python ./spiga/demo/app.py \
            [--input] \      # 网络摄像头ID或视频路径。默认: 网络摄像头'0'。
            [--dataset] \    # 每个数据集的SPIGA预训练权重。默认: 'wflw'。
            [--tracker] \    # 跟踪器名称。默认: 'RetinaSort'。
            [--show] \       # 选择要显示的人脸属性。默认: ['fps', 'face_id', 'landmarks', 'headpose']
            [--save] \       # 保存记录。
            [--noview] \     # 不可视化窗口。
            [--outpath] \    # 录制输出目录。默认: './spiga/demo/outputs'
            [--fps] \        # 每秒帧数。
            [--shape] \      # 可视化器大小(宽,高)。

注意: 更多信息请查看演示自述文件或调用应用程序解析器 --help。

数据加载器和基准测试

该存储库提供了人脸对齐和头部姿态估计任务的通用工具:

数据加载器: 训练和推理数据加载器可在 ./spiga/data 获得。包括用于训练SPIGA的数据增强工具和用于分析数据集图像和特征的数据可视化器。更多信息请查看数据自述文件。
基准测试: 一个通用的基准测试框架可在 ./spiga/eval/benchmark 使用,用于测试任何人脸对齐和头部姿态估计算法。更多信息请查看以下评估部分和基准测试自述文件。

数据集: 要运行数据可视化器或评估基准,请从官方网站下载数据集图像 (300W, AFLW, WFLW, COFW). 默认情况下,它们应该按照以下文件夹结构保存:

./spiga/data/databases/   # 默认路径可通过修改'./spiga/data/loaders/dl_config.py'中的'db_img_path'来更新
|
└───/300w               
│   └─── /images           
│        | /private     
│        | /test                   
|        └ /train             
|
└───/cofw                   
│   └─── /images
|  
└───/aflw                   
│   └─── /data
|        └ /flickr
|  
└───/wflw
    └─── /images

注释: 为了简单起见,我们将数据集注释直接存储在 ./spiga/data/annotations 中。如果您计划将其用作git目录,强烈建议将其移出存储库。

结果: 类似于注释问题,我们将SPIGA的结果存储在 ./spiga/eval/results/<dataset_name> 中。如果需要,请将其删除。

评估

模型评估分为两个脚本:

结果生成：该脚本从所需的<dataset_name>训练网络中提取数据对齐和头姿估计。生成一个./spiga/eval/results/results_<dataset_name>_test.json文件，该文件遵循数据集注释中定义的相同数据结构。

python ./spiga/eval/results_gen.py <dataset_name>

基准评估指标：该脚本生成所需的地标或头姿估计指标。我们实现了一个有用的基准测试,允许您使用结果文件作为输入测试任何模型。

python ./spiga/eval/benchmark/evaluator.py /path/to/<results_file.json> --eval lnd pose -s

***注意：***您将需要在终端窗口中交互式选择NME_norm和其他参数。

结果汇总

	NME_ioc	AUC_10	FR_10	NME_P90	NME_P95	NME_P99
full	4.060	60.558	2.080	6.766	8.199	13.071
pose	7.141	35.312	11.656	10.684	13.334	26.890
expression	4.457	57.968	2.229	7.023	8.148	22.388
illumination	4.004	61.311	1.576	6.528	7.919	11.090
makeup	3.809	62.237	1.456	6.320	8.289	11.564
occlusion	4.952	53.310	4.484	8.091	9.929	16.439
blur	4.650	55.310	2.199	7.311	8.693	14.421

</details> <details> <summary>MERLRAV 数据集</summary>

	NME_bbox	AUC_7	FR_7	NME_P90	NME_P95	NME_P99
full	1.509	78.474	0.052	2.163	2.468	3.456
frontal	1.616	76.964	0.091	2.246	2.572	3.621
half_profile	1.683	75.966	0.000	2.274	2.547	3.397
profile	1.191	82.990	0.000	1.735	2.042	2.878

</details> <details> <summary>300W 私有数据集</summary>

	NME_bbox	AUC_7	FR_7	NME_P90	NME_P95	NME_P99
full	2.031	71.011	0.167	2.788	3.078	3.838
indoor	2.035	70.959	0.333	2.726	3.007	3.712
outdoor	2.027	37.174	0.000	2.824	3.217	3.838

</details> <details> <summary>COFW68 数据集</summary>

	NME_bbox	AUC_7	FR_7	NME_P90	NME_P95	NME_P99
full	2.517	64.050	0.000	3.439	4.066	5.558

</details> <details> <summary>300W 公开数据集</summary>

	NME_ioc	AUC_8	FR_8	NME_P90	NME_P95	NME_P99
full	2.994	62.726	0.726	4.667	5.436	7.320
common	2.587	44.201	0.000	3.710	4.083	5.215
challenge	4.662	42.449	3.704	6.626	7.390	10.095

</details>

BibTeX 引用

@inproceedings{Prados-Torreblanca_2022_BMVC,
  author    = {Andrés  Prados-Torreblanca and José M Buenaposada and Luis Baumela},
  title     = {Shape Preserving Facial Landmarks with Graph Attention Networks},
  booktitle = {33rd British Machine Vision Conference 2022, {BMVC} 2022, London, UK, November 21-24, 2022},
  publisher = {{BMVA} Press},
  year      = {2022},
  url       = {https://bmvc2022.mpi-inf.mpg.de/0155.pdf}
}