deep-significance

deep-significance: 深度神经网络显著性测试工具介绍

项目背景

近年来，深度学习取得了显著的进展，但在许多实验研究中，统计假设检验并未得到充分应用。研究人员通常仅通过一些性能指标来得出结论，这不足以准确地比较不同的模型或算法。这是因为神经网络有复杂的特性，它们的性能受到超参数、训练过程中的随机性和其他因素的影响。因此，单纯依赖少量指标或其平均值无法有效比较模型间的优劣。

项目目标

为了解决这一问题，deep-significance 项目提供了深度神经网络显著性测试的完整工具集。该项目通过重实现一些经典的统计显著性测试方法，为用户提供简单且可靠的工具来进行模型性能比较。主要功能包括：

统计显著性测试，如几乎随机顺序（ASO）、bootstrap 方法和置换随机化。
处理数据集多个比较问题的 Bonferroni 校正。
bootstrap 功率分析和样本量确定工具。

这些功能经过全面测试，与常用的深度学习数据结构（如 PyTorch、Tensorflow 张量以及 NumPy 和 Jax 数组）兼容。

安装流程

用户可以通过以下命令轻松安装本软件包：

pip3 install deepsig

或者，用户也可以选择从 GitHub 上克隆代码库进行本地安装：

git clone https://github.com/Kaleidophon/deep-significance.git
cd deep-significance
pip3 install -e .

使用示例

场景1：比较两个模型的多次运行

假设我们有两组分数，分别由运行多次的两个模型产生，使用 ASO 测试可以判断哪个模型表现更好：

import numpy as np
from deepsig import aso

seed = 1234
np.random.seed(seed)

# 模拟分数
N = 5  # 随机种子数量
my_model_scores = np.random.normal(loc=0.9, scale=0.8, size=N)
baseline_scores = np.random.normal(loc=0, scale=1, size=N)

min_eps = aso(my_model_scores, baseline_scores, seed=seed)  # min_eps = 0.225，说明 A 比 B 好

场景2：跨数据集比较多次运行

当跨多个数据集比较模型时，需要对每个数据集分别设定一个零假设，并通过 Bonferroni 校正调整显著性阈值：

import numpy as np
from deepsig import aso 

seed = 1234
np.random.seed(seed)

# 模拟三个数据集的分数
M = 3  # 数据集数量
N = 5  # 随机种子数量
my_model_scores_per_dataset = [np.random.normal(loc=0.3, scale=0.8, size=N) for _ in range(M)]
baseline_scores_per_dataset  = [np.random.normal(loc=0, scale=1, size=N) for _ in range(M)]

# 实施 Bonferroni 校正后计算 eps_min 
eps_min = [aso(a, b, confidence_level=0.95, num_comparisons=M, seed=seed) for a, b in zip(my_model_scores_per_dataset, baseline_scores_per_dataset)]