PerceptualSimilarity

Perceptual Similarity 项目介绍

项目背景

Perceptual Similarity 是一个旨在提供感知相似度度量标准的项目，主要利用深度学习的特征来评估图像之间的相似度。该项目由 Richard Zhang、Phillip Isola、Alexei A. Efros、Eli Shechtman 和 Oliver Wang 等多位研究人员共同开发，并在 2018 年的 CVPR 会议上发表。其核心技术 LPIPS（Learned Perceptual Image Patch Similarity）提供了一种评估图像块相似度的度量方式，数值越高意味着图像越不同，数值越低则表示图像越相似。

如何使用

安装与设置

为了使用 Perceptual Similarity 项目，用户需要安装 PyTorch 和 torchvision。安装完成后，可以通过以下命令克隆该项目的代码库：

git clone https://github.com/richzhang/PerceptualSimilarity
cd PerceptualSimilarity

接着可通过 pip 安装所需依赖：

pip install -r requirements.txt

安装完毕后，即可使用项目中提供的工具测量图像之间的相似度。

快速开始

项目中提供了简单的 Python 代码用于快速上手：

import lpips
loss_fn_alex = lpips.LPIPS(net='alex') # 使用 AlexNet 网络计算感知损失

import torch
img0 = torch.zeros(1,3,64,64) # 图像需为 RGB 格式，并在 [-1,1] 范围内进行归一化
img1 = torch.zeros(1,3,64,64)
d = loss_fn_alex(img0, img1)

通过以上代码，可以轻松计算两幅图像间的感知相似度。

感知相似度度量：LPIPS

LPIPS 是项目中的核心感知度量标准，其目的是衡量两个图像块之间的距离或相似度。默认采用 AlexNet 网络来计算感知损失，此方法既快速又高效。用户也可以选择 VGG 网络，该设置在用于优化时更接近传统感知损失。

如何计算图像对之间的相似度

用户可以通过命令行脚本来比较两个特定图像、两个目录中的图像对，或者一个目录内的所有图像对。例如，以下命令用于比较两个图像：

python lpips_2imgs.py -p0 imgs/ex_ref.png -p1 imgs/ex_p0.png --use_gpu

理解度量结果

在使用 LPIPS 计算图像相似度时，数值越高表明图像越不同，数值越低则表明图像越相似。此方法对不同的网络架构和监督信号均表现出色。

BAPPS 数据集

为了支持模型的训练和评估，项目提供了 Berkeley Adobe Perceptual Patch Similarity (BAPPS) 数据集。该数据集包含两种感知判断：两备择强制选择（2AFC）和最小可觉差（JND）。数据集可以通过下载脚本获取并用于不同的感知模型评估。

评价标准

为便于模型开发者进行评估，项目提供了用于测试数据集上的感知模型的脚本。用户可以选择不同的参数来测试模型在数据集上的表现。

总结

Perceptual Similarity 项目通过深度学习技术提供了一种有效的图像感知相似度度量，从而帮助用户进行更准确的图像质量评估和图像处理。该项目使用简单、开源，适合研究人员和开发人员进一步探索和应用。