torch-fidelity

PyTorch中用于生成模型的高保真性能指标

这个仓库提供了精确、高效和可扩展的流行生成模型评估指标实现，包括：

初始分数（ISC）
Fréchet初始距离（FID）
核初始距离（KID）
精确度和召回率（PRC）
感知路径长度（PPL）

数值精度：与许多其他重新实现不同，torch-fidelity产生的值与参考实现在浮点机器精度范围内匹配。这允许使用torch-fidelity来报告论文中的指标，而不是分散和缓慢的参考实现。阅读更多关于数值精度的信息

效率：不同指标之间共享特征节省了重新计算时间，额外的缓存层尽可能避免重新计算特征和统计数据。高效率允许在训练循环中使用torch-fidelity，例如在每个epoch结束时。阅读更多关于效率的信息

可扩展性：由于高度模块化和抽象输入数据、模型和特征提取器，超越2D图像生成很容易。例如，可以将InceptionV3特征提取器替换为接受3D扫描体积的提取器，如MRI中使用的那样。阅读更多关于可扩展性的信息

总之：PyTorch中快速可靠的GAN评估

安装

pip install torch-fidelity

另见：安装最新的GitHub代码

命令行使用示例

以下是使用torch-fidelity通过命令行评估指标的三个示例。更多示例请参见文档。

简单

CIFAR-10训练集的初始分数：

> fidelity --gpu 0 --isc --input1 cifar10-train

inception_score_mean: 11.23678
inception_score_std: 0.09514061

中等

存储在~/images/目录中的图像的初始分数：

> fidelity --gpu 0 --isc --input1 ~/images/

专业

高效计算input1的ISC和PPL，以及存储在~/generator.onnx中的生成模型与CIFAR-10训练集之间的FID、KID、PRC：

> fidelity \
  --gpu 0 \
  --isc \
  --fid \
  --kid \
  --ppl \
  --prc \
  --input1 ~/generator.onnx \ 
  --input1-model-z-type normal \
  --input1-model-z-size 128 \
  --input1-model-num-samples 50000 \ 
  --input2 cifar10-train

另见：其他使用示例

Python API快速入门

在跟踪生成模型训练性能时，由于计算时间长，每个epoch后评估指标变得昂贵。torch_fidelity通过充分利用缓存来解决这个问题，尽可能避免重新计算常见特征和每个指标的统计数据。在NVIDIA P100 GPU上，为50000个32x32生成图像和cifar10-train计算所有指标仅需2分26秒，相比之下，使用原始代码库需要>10分钟。因此，在整个训练周期内计算20次指标只会使整体训练时间延长一小时。

在以下示例中，假设是CIFAR-10的无条件图像生成设置，以及生成模型generator，它接受128维标准正态噪声向量。

首先，导入模块：

import torch_fidelity

在epoch评估结束时添加以下行：

wrapped_generator = torch_fidelity.GenerativeModelModuleWrapper(generator, 128, 'normal', 0)

metrics_dict = torch_fidelity.calculate_metrics(
    input1=wrapped_generator, 
    input2='cifar10-train', 
    cuda=True, 
    isc=True, 
    fid=True, 
    kid=True, 
    prc=True, 
    verbose=False,
)

计算得到的指标字典可以直接记录到tensorboard、wandb或控制台：

print(metrics_dict)

输出：

{
    'inception_score_mean': 11.23678, 
    'inception_score_std': 0.09514061, 
    'frechet_inception_distance': 18.12198,
    'kernel_inception_distance_mean': 0.01369556, 
    'kernel_inception_distance_std': 0.001310059
    'precision': 0.51369556, 
    'recall': 0.501310059
}

另见：完整API参考

与训练循环集成的示例

完整的训练示例请参考sngan_cifar10.py。

示例中固定生成器潜在变量的演变：

固定生成器潜在变量的演变

可以从这里下载训练示例产生的生成器检查点。

故障排除

警告：脚本fidelity安装在'<某路径>'中，该路径不在PATH中。

这表示独立的fidelity工具将无法使用，除非将上述路径添加到PATH环境变量中。如果不想修改PATH，仍可以通过其完整路径调用工具：<某路径>/fidelity。

引用

建议在依赖torch-fidelity的工作中引用以加强评估协议。为确保引用此仓库时的可重复性，请使用以下BibTeX：

@misc{obukhov2020torchfidelity,
  author={Anton Obukhov and Maximilian Seitzer and Po-Wei Wu and Semen Zhydenko and Jonathan Kyl and Elvis Yu-Jing Lin},
  year=2020,
  title={High-fidelity performance metrics for generative models in PyTorch},
  url={https://github.com/toshas/torch-fidelity},
  publisher={Zenodo},
  version={v0.3.0},
  doi={10.5281/zenodo.4957738},
  note={Version: 0.3.0, DOI: 10.5281/zenodo.4957738}
}