English | 中文

InterpretDL: 基于PaddlePaddle的深度学习模型解释工具

InterpretDL是一个基于PaddlePaddle模型的解释工具包，全称为深度学习模型解释。该工具包实现了多种解释算法，包括LIME、Grad-CAM、积分梯度等。一些最先进和新颖的解释算法也已实现。

InterpretDL正在积极开发中，欢迎各种贡献！

为什么选择InterpretDL

日益复杂的深度学习模型使人们无法理解其内部工作原理。黑盒模型的可解释性已成为许多优秀研究人员的研究重点。InterpretDL提供了一系列经典和新颖的算法来解释模型。

通过利用这些有用的方法，人们可以更好地理解模型为什么有效以及为什么无效，从而为模型开发过程做出贡献。

对于从事设计新解释算法的研究人员来说，InterpretDL提供了一种简单的方法来访问现有方法，以便与他们的工作进行比较。

:fire: :fire: :fire: 新闻 :fire: :fire: :fire:

• (2023.2) 一篇关于解释Transformers的论文被TMLR接收。实现请参见BT。

Jiamin Chen, Xuhong Li, Lei Yu, Dejing Dou, Haoyi Xiong. "Beyond Intuition: Rethinking Token Attributions inside Transformers." TMLR. 论文链接。

• (2022.11) 两篇论文分别被AAAI'23和Artificial Intelligence接收。实现请参见G-LIME和TrainingDynamics。

Xuhong Li, Haoyi Xiong, Xingjian Li, Xiao Zhang, Ji Liu, Haiyan Jiang, Zeyu Chen, Dejing Dou. "G-LIME: Statistical Learning for Local Interpretations of Deep Neural Networks using Global Priors." Artificial Intelligence, 2023. PDF链接。

Qingrui Jia, Xuhong Li, Lei Yu, Penghao Zhao, Jiang Bian, Shupeng Li, Haoyi Xiong, Dejing Dou. "Learning from Training Dynamics: Identifying Mislabeled Data Beyond Manually Designed Features". AAAI 2023. PDF链接。

演示

解释算法为我们提供了黑盒模型做出决策的原因。

下表展示了几种解释算法应用于原始图像的可视化结果，告诉我们模型为什么预测为"牛头犬"。

原始图像	IntGrad (演示)	SG (演示)	LIME (演示)	Grad-CAM (演示)

对于情感分析任务，模型给出积极/消极预测的原因可以如下可视化。快速演示可以在这里找到。中文样本也可以在这里找到。

目录

• InterpretDL：基于PaddlePaddle的深度学习模型解释工具
• 为什么选择InterpretDL
• :fire: :fire: :fire: 最新消息 :fire: :fire: :fire:
• 演示
• 目录
• 安装
  • pip安装
  • 开发者安装
  • 单元测试
• 文档
• 快速入门
• 示例和教程
• 路线图
  • 已实现算法的分类
  • 已实现的可信度评估算法
• 演讲
• 算法参考文献
• 版权和许可
• 近期新闻

安装

本工具需要深度学习框架paddlepaddle，推荐使用支持CUDA的版本。

pip安装

pip install interpretdl

# 或使用清华镜像
pip install interpretdl -i https://pypi.tuna.tsinghua.edu.cn/simple

开发者安装

git clone https://github.com/PaddlePaddle/InterpretDL.git
# ...修复bug或添加新功能
cd InterpretDL && pip install -e .
# 欢迎提交pull request和贡献
yapf -i <python文件路径>  # 代码风格：column_limit=120

单元测试

# 运行gradcam单元测试
python -m unittest -v tests.interpreter.test_gradcam
# 运行所有单元测试
python -m unittest -v

文档

在线链接：interpretdl.readthedocs.io。

或在本地生成文档：

git clone https://github.com/PaddlePaddle/InterpretDL.git
cd docs
make html
open _build/html/index.html

快速入门

所有解释器都继承自抽象类Interpreter，其中interpret(**kwargs)是调用的函数。

# SmoothGradient解释器的示例

import interpretdl as it
from paddle.vision.models import resnet50
paddle_model = resnet50(pretrained=True)
sg = it.SmoothGradInterpreter(paddle_model, use_cuda=True)
gradients = sg.interpret("test.jpg", visual=True, save_path=None)

我们提供了一个快速入门教程（或NBviewer版本）。只需几分钟即可熟悉InterpretDL。

示例和教程

我们为每种解释算法和每种可信度评估算法提供了至少一个示例，希望涵盖CV和NLP的应用。

我们目前正在准备InterpretDL的易用性教程。

示例和教程都可以在tutorials文件夹下找到。

路线图

我们计划创建一个有用的工具包，用于提供模型解释和评估。 我们现在已经实现了以下解释算法，并计划添加更多需要的算法。 欢迎贡献或告诉我们您需要哪些算法。

已实现算法的分类

我们使用两个维度（解释结果的表示和目标模型的类型）对解释算法进行分类。这种分类可以作为为目标任务和模型找到最合适算法的指标。

方法	表示方式	模型类型
LIME	输入特征	模型无关
LIME with Prior	输入特征	模型无关
GLIME	输入特征	模型无关
NormLIME/FastNormLIME	输入特征	模型无关
LRP	输入特征	可微分*
SmoothGrad	输入特征	可微分
IntGrad	输入特征	可微分
GradSHAP	输入特征	可微分
Occlusion	输入特征	模型无关
GradCAM/CAM	中间特征	特定：CNN
ScoreCAM	中间特征	特定：CNN
Rollout	中间特征	特定：Transformer
TAM	输入特征	特定：Transformer
Generic Attention	输入特征	特定：Transformer
Bidirectional	输入特征	特定：Transformer
ForgettingEvents	数据集级别	可微分
TIDY (训练数据分析器)	数据集级别	可微分
BHDF	数据集级别**	可微分
Consensus	特征	跨模型

• LRP 需要模型具有特定实现以支持相关性反向传播。

** 数据集级别的解释器需要一个训练过程。

已实现的可信度评估算法

• 扰动测试
• 删除与插入
• 不忠实度

可解释性评估算法

• 定位能力

计划中的算法

• 中间特征解释算法

  • 更多针对 Transformer 的特定解释器

• 数据集级别解释算法

  • 影响函数

• 评估

  • 局部保真度
  • 单调性
  • 不忠实度
  • 敏感性

演讲

Linux 基金会 AI & Data 项目 -- 可解释深度学习：解释、可解释性、可信度及其他。视频链接（00:20:30 -- 00:45:00）。

百度 Create 2021（中文）：视频链接（01:18:40 -- 01:36:30）。

ICML 2021 展览 -- 可解释深度学习：解释、可解释性、可信度及其他。视频链接。

算法参考文献

• SGDNoise：关于泛化为SGD的噪声梯度下降，Wu等人，2019
• IntegratedGraients：深度网络的公理化归因，Mukund Sundararajan等人，2017
• CAM、GradCAM：Grad-CAM：通过基于梯度的定位实现深度网络的视觉解释，Ramprasaath R. Selvaraju等人，2017
• SmoothGrad：SmoothGrad：通过添加噪声来去除噪声，Daniel Smilkov等人，2017
• GradientShap：解释模型预测的统一方法，Scott M. Lundberg等人，2017
• Occlusion：卷积网络的可视化和理解，Matthew D Zeiler和Rob Fergus，2013
• Lime："我为什么应该相信你？"：解释任何分类器的预测，Marco Tulio Ribeiro等人，2016
• NormLime：NormLime：解释深度神经网络的新特征重要性度量，Isaac Ahern等人，2019
• ScoreCAM：Score-CAM：卷积神经网络的分数加权视觉解释，Haofan Wang等人，2020
• ForgettingEvents：深度神经网络学习过程中示例遗忘的实证研究，Mariya Toneva等人，2019
• LRP：通过逐层相关性传播对非线性分类器决策进行像素级解释，Bach等人，2015
• Rollout：量化Transformer中的注意力流，Abnar等人，2020
• TAM：使用马尔可夫链解释Vision Transformer内部的信息流，Yuan等人，2021
• Consensus：图像分类模型的跨模型解释一致性及其他：实证研究，Li等人，2021
• Perturbation：评估深度神经网络学习内容的可视化
• Deletion&Insertion：RISE：黑盒模型解释的随机输入采样
• PointGame：通过激发反向传播实现自上而下的神经注意力
• Generic Attention：用于解释双模态和编码器-解码器Transformer的通用注意力模型可解释性

版权和许可

InterpretDL 在 Apache-2.0 许可 下提供。

最新动态

• (2022.08) 本仓库相关的论文被机器学习研究期刊（JMLR）接受。如果这个仓库对您的工作有所帮助，请考虑引用这篇论文：

  Xuhong Li, Haoyi Xiong, Xingjian Li, Xuanyu Wu, Zeyu Chen, and Dejing Dou. "InterpretDL: Explaining Deep Models in PaddlePaddle." Journal of Machine Learning Research, 2022. https://jmlr.org/papers/v23/21-0738.html.

  @article{JMLR:v23:21-0738,
    author  = {Xuhong Li and Haoyi Xiong and Xingjian Li and Xuanyu Wu and Zeyu Chen and Dejing Dou},
    title   = {InterpretDL: Explaining Deep Models in PaddlePaddle},
    journal = {Journal of Machine Learning Research},
    year    = {2022},
    volume  = {23},
    number  = {197},
    pages   = {1--6},
    url     = {http://jmlr.org/papers/v23/21-0738.html}
    }
  

• (2022.08) 两项研究工作被ECML和Machine Learning Journal接受。跨模型一致性解释被用于创建一个名为PSSL的伪语义分割数据集，其中包含对应整个ImageNet训练集的120万个伪掩码。该数据集现已公开可用。

  参考 PaddleSeg:PSSL 下载数据集和预训练模型。

  有关一致性解释及其如何帮助语义分割任务的详细信息，请参阅以下论文：

  Xuhong Li, Haoyi Xiong, Siyu Huang, Shilei Ji, Dejing Dou. Cross-Model Consensus of Explanations and Beyond for Image Classification Models: An Empirical Study. ECML'22, Machine Learning Journal Track. https://arxiv.org/abs/2109.00707.

  Xuhong Li, Haoyi Xiong, Yi Liu, Dingfu Zhou, Zeyu Chen, Yaqing Wang, and Dejing Dou. "Distilling ensemble of explanations for weakly-supervised pre-training of image segmentation models." Machine Learning (2022): 1-17. https://arxiv.org/abs/2207.03335.

  

• (2022/04/27) 提供了入门教程。您可以从 GitHub 或 NBViewer 查看。每种算法（包括解释器和评估器）都提供了使用示例。我们目前正在准备InterpretDL的易用性教程。教程和示例都可以在 tutorial 文件夹下找到。

• (2022/01/06) 实现了跨模型共识解释方法。简而言之，该方法对几个模型的解释结果进行平均。这种方法不是解释单个模型，而是能够准确定位输入数据中的判别特征。详情请参阅论文。

  • 共识: Xuhong Li, Haoyi Xiong, Siyu Huang, Shilei Ji, Dejing Dou. 图像分类模型解释的跨模型共识及其他：一项实证研究。arXiv:2109.00707。

  我们展示了一个使用六个模型的演示（最后一列显示共识解释），而使用更多模型（约15个）可以得到更好的结果。更多详情请参阅示例。

  

• (2021/10/20) 为PaddlePaddle的Vision Transformers实现了过渡注意力图（TAM）解释方法。像往常一样，只需几行代码即可调用这个解释器。详情请参阅示例和论文：

  • TAM: Tingyi Yuan, Xuhong Li, Haoyi Xiong, Hui Cao, Dejing Dou. 使用马尔可夫链解释Vision Transformers内部的信息流。发表于Neurips 2021 XAI4Debugging研讨会。

  import paddle
  import interpretdl as it
  
  # 加载vit模型和权重
  # !wget -c https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/ViT_base_patch16_224_pretrained.pdparams -P assets/
  from assets.vision_transformer import ViT_base_patch16_224
  paddle_model = ViT_base_patch16_224()
  MODEL_PATH = 'assets/ViT_base_patch16_224_pretrained.pdparams'
  paddle_model.set_dict(paddle.load(MODEL_PATH))
  
  # 调用解释器
  tam = it.TAMInterpreter(paddle_model, use_cuda=True)
  img_path = 'samples/el1.png'
  heatmap = tam.interpret(
          img_path,
          start_layer=4,
          label=None,  # 大象
          visual=True,
          save_path=None)
  heatmap = tam.interpret(
          img_path,
          start_layer=4,
          label=340,  # 斑马
          visual=True,
          save_path=None)

  图像	大象	斑马

• (2021/07/22) 为PaddlePaddle的Vision Transformers实现了Rollout解释。查看notebook以获取可视化结果。

  import paddle
  import interpretdl as it
  
  # wget -c https://paddle-imagenet-models-name.bj.bcebos.com/dygraph/ViT_small_patch16_224_pretrained.pdparams -P assets/
  from assets.vision_transformer import ViT_small_patch16_224
  paddle_model = ViT_small_patch16_224()
  MODEL_PATH = 'assets/ViT_small_patch16_224_pretrained.pdparams'
  paddle_model.set_dict(paddle.load(MODEL_PATH))
  
  img_path = 'assets/catdog.png'
  rollout = it.RolloutInterpreter(paddle_model, use_cuda=True)
  heatmap = rollout.interpret(img_path, start_layer=0, visual=True)