PyPI MIT 许可证

Interpret Community SDK

Interpret-Community 是一个实验性仓库，扩展了 Interpret，增加了额外的可解释性技术和实用功能，以处理真实世界数据集和解释表格数据训练模型的工作流程。该仓库包含 Interpret-Community SDK 和展示其用法的 Jupyter 笔记本示例。

<a name="intro"></a>

Interpret-Community 概述

Interpret-Community 扩展了 Interpret 仓库，并整合了社区开发的进一步实验性可解释性技术和功能，旨在为真实世界场景提供可解释性。Interpret-Community 允许添加新的实验性技术（或功能）并进行比较分析以评估它们。

Interpret-Community

积极整合创新的实验性可解释性技术，并允许研究人员和数据科学家进一步扩展
应用优化以使其能够在大规模真实世界数据集上运行可解释性技术
提供改进，如"反向特征工程管道"的能力，以原始特征而非工程特征的形式提供模型洞察
提供交互式和探索性可视化，使数据科学家能够对其数据获得有意义的洞察

<a name="installation"></a>

安装

可以从 pypi 安装该包：

      pip install interpret-community

有关更多安装信息，请参阅网站文档：https://interpret-community.readthedocs.io/en/latest/overview.html#getting-started

<a name="docs"></a>

文档网站

欲了解更多信息，请访问文档网站，其中还包括由 sphinx 生成的详细 API 文档： https://interpret-community.readthedocs.io/en/latest/index.html

<a name="models"></a>

支持的模型

该 API 支持在 Python numpy.ndarray、pandas.DataFrame 或 scipy.sparse.csr_matrix 格式的数据集上训练的模型。

解释函数接受模型和管道作为输入，只要模型或管道实现了符合 Scikit 约定的 predict 或 predict_proba 函数。如果不兼容，您可以将模型的预测函数包装到一个将输出转换为支持格式（Scikit 的 predict 或 predict_proba）的包装函数中，并将该包装函数传递给您选择的可解释性技术。

如果提供了管道脚本，解释函数假定运行的管道脚本返回预测结果。该仓库还支持通过 PyTorch、TensorFlow 和 Keras 深度学习框架训练的模型。

支持的解释器

以下是社区仓库中可用的解释器列表：

可解释性技术	描述	类型
SHAP Kernel 解释器	SHAP 的 Kernel 解释器使用特别加权的局部线性回归来估计任何模型的 SHAP 值。	模型无关
GPU SHAP Kernel 解释器	GPU Kernel 解释器使用 cuML 的 GPU 加速版 SHAP Kernel 解释器来估计任何模型的 SHAP 值。其主要优势是为快速 GPU 模型（如 cuML 中的模型）提供加速。但它也可以用于基于 CPU 的模型，尽管由于数据传输和模型本身的速度，加速效果可能有限。	模型无关
SHAP Tree 解释器	SHAP 的 Tree 解释器，专注于树和树集成的多项式时间快速 SHAP 值估计算法。	特定模型
SHAP Deep 解释器	基于 SHAP 的解释，Deep 解释器"是深度学习模型中 SHAP 值的高速近似算法，基于 SHAP NIPS 论文中描述的与 DeepLIFT 的联系。支持 TensorFlow 模型和使用 TensorFlow 后端的 Keras 模型（也有对 PyTorch 的初步支持）"。	特定模型
SHAP Linear 解释器	SHAP 的 Linear 解释器计算线性模型的 SHAP 值，可选择考虑特征间相关性。	特定模型
Mimic 解释器（全局代理）	Mimic 解释器基于训练全局代理模型以模仿黑盒模型的思想。全局代理模型是一种本质上可解释的模型，训练目的是尽可能准确地近似任何黑盒模型的预测。数据科学家可以解释代理模型以得出关于黑盒模型的结论。您可以使用以下可解释模型之一作为代理模型：LightGBM (LGBMExplainableModel)、线性回归 (LinearExplainableModel)、随机梯度下降可解释模型 (SGDExplainableModel) 和决策树 (DecisionTreeExplainableModel)。	模型无关
排列特征重要性解释器 (PFI)	排列特征重要性是一种用于解释分类和回归模型的技术，灵感来自 Breiman 的随机森林论文（参见第 10 节）。其基本原理是对整个数据集一次随机打乱一个特征的数据，并计算感兴趣的性能指标变化程度。变化越大，该特征越重要。PFI 可以解释任何底层模型的整体行为，但不解释个别预测。	模型无关
LIME 解释器	局部可解释模型无关解释（LIME）是模型行为的局部线性近似。该解释器用统一的 API 和附加功能包装了 LIME 表格解释器。	模型无关
除了上述描述的可解释性技术外，Interpret-Community 还支持另一个基于 SHAP 的解释器，称为 `TabularExplainer`。根据模型的不同，`TabularExplainer` 会使用以下支持的 SHAP 解释器之一：

原始模型	调用的解释器
基于树的模型	SHAP TreeExplainer
深度神经网络模型	SHAP DeepExplainer
线性模型	SHAP LinearExplainer
以上都不是	SHAP KernelExplainer 或 GPUKernelExplainer

使用 Interpret-Community

interpret-community 中的解释器有一个通用的 API，您首先从模型或预测函数构造解释器：

from interpret.ext.blackbox import TabularExplainer

# "features" 和 "classes" 字段是可选的
explainer = TabularExplainer(model,
                             x_train,
                             features=breast_cancer_data.feature_names,
                             classes=classes)

然后可以对评估样本计算解释：

# 您可以在这里使用训练数据或测试数据
global_explanation = explainer.explain_global(x_train)

# 解释测试集中的前五个数据点
local_explanation = explainer.explain_local(x_test[0:5])

有关更多使用信息，请参阅使用 Interpret-Community

可视化

安装 raiwidgets 包，ExplanationDashboard 已移至 responsible-ai-toolbox 仓库：

pip install raiwidgets

在您的笔记本中加载可视化仪表板以理解和解释您的模型：

from raiwidgets import ExplanationDashboard

ExplanationDashboard(global_explanation, model, dataset=x_test, trueY=y_test)

加载可视化仪表板后，您可以通过四个标签视图调查数据集和训练模型的不同方面：

模型性能
数据探索器
聚合特征重要性
个体特征重要性和假设分析

有关可视化的更多信息，请参阅可视化

贡献

本项目欢迎贡献和建议。大多数贡献都要求您同意 Github 开发者原产地证书（DCO）。详情请访问 https://probot.github.io/apps/dco/。

开发者原产地证书（DCO）是贡献者证明他们编写或以其他方式有权提交他们贡献给项目的代码的一种轻量级方式。以下是 DCO 的全文，为便于阅读已重新格式化：

通过对本项目做出贡献，我证明：
(a) 该贡献全部或部分由我创作，我有权根据文件中指明的开源许可证提交它；或
(b) 该贡献基于先前的工作，据我所知，该工作受适当的开源许可证保护，我有权根据该许可证提交该工作及修改（无论是全部还是部分由我创作），并根据相同的开源许可证（除非我被允许根据不同的许可证提交）提交，如文件中所示；或
(c) 该贡献直接由证明 (a)、(b) 或 (c) 的其他人提供给我，我未对其进行修改。
(d) 我理解并同意本项目和贡献是公开的，并且贡献的记录（包括我随之提交的所有个人信息，包括我的签名）将被无限期保存，并可能与本项目或相关开源许可证一致地重新分发。
贡献者通过在提交消息中添加 Signed-off-by 行来签署他们遵守这些要求。
这是我的提交消息

Signed-off-by: Random J Developer <random@developer.example.org>
Git 甚至有一个 -s 命令行选项，可以自动将此附加到您的提交消息中：
$ git commit -s -m '这是我的提交消息'

当您提交拉取请求时，DCO 机器人将自动确定您是否需要认证。只需按照机器人提供的说明操作即可。

行为准则

本项目已采用 GitHub 社区准则。

报告安全问题

安全问题和漏洞应该通过电子邮件私下报告给微软安全响应中心（MSRC），邮箱地址是 secure@microsoft.com。您应该在 24 小时内收到回复。如果由于某种原因没有收到回复，请通过电子邮件跟进，以确保我们收到了您的原始消息。更多信息，包括 MSRC PGP 密钥，可以在安全技术中心找到。