pytorch-grad-cam学习资料汇总

pytorch-grad-cam是一个用于计算机视觉高级AI可解释性的Python库,提供了多种类激活映射(CAM)方法的实现。无论你是刚接触AI可解释性,还是正在寻找更高级的用法,本文都将为你提供有价值的学习资源。

项目概览

pytorch-grad-cam支持以下主要功能:

支持CNN、Vision Transformer等多种模型架构
适用于分类、目标检测、语义分割等多种视觉任务
包含GradCAM、ScoreCAM、EigenCAM等多种CAM算法
提供批量处理、平滑等高级功能
包含用于评估解释质量的指标

快速入门

安装:

pip install grad-cam

基本用法:

from pytorch_grad_cam import GradCAM
from torchvision.models import resnet50

model = resnet50(pretrained=True)
target_layers = [model.layer4[-1]]

cam = GradCAM(model=model, target_layers=target_layers)
grayscale_cam = cam(input_tensor=image_tensor)

详细教程

项目作者提供了一系列Jupyter notebook教程,涵盖了从基础到高级的多种使用场景:

高级用法

对于非标准架构,可以使用reshape_transform参数:

def reshape_transform(tensor, height=14, width=14):
    result = tensor[:, 1:, :].reshape(tensor.size(0), height, width, tensor.size(2))
    result = result.transpose(2, 3).transpose(1, 2)
    return result

cam = GradCAM(model=model, target_layers=target_layers, 
              reshape_transform=reshape_transform)

对于非分类任务,可以自定义model_targets:

class SemanticSegmentationTarget:
    def __init__(self, category, mask):
        self.category = category
        self.mask = torch.from_numpy(mask)
        
    def __call__(self, model_output):
        return (model_output[self.category, :, :] * self.mask).sum()

target_layers = [model.decoder]
targets = [SemanticSegmentationTarget(category, mask)]
cam = GradCAM(model=model, target_layers=target_layers)
grayscale_cam = cam(input_tensor=image_tensor, targets=targets)