Uncertainty Baselines: Google推出深度学习不确定性和鲁棒性基准

uncertainty-baselines

Uncertainty Baselines简介

Google近日推出了Uncertainty Baselines项目,这是一个旨在为深度学习中的不确定性和鲁棒性研究提供高质量基准实现的开源项目。随着深度学习在现实世界中的应用越来越广泛,模型的不确定性和鲁棒性越来越受到关注。Uncertainty Baselines项目的目标是为研究人员提供一个模板,让他们能够快速开始新的想法和应用的研究,并与其他不确定性和鲁棒性研究人员进行交流。

项目动机

虽然GitHub上已有许多不确定性和鲁棒性的实现,但它们通常都是为特定论文而设计的一次性实验,而且许多论文甚至没有代码。目前还没有清晰的示例让不确定性研究人员可以快速使用来原型化他们的工作。每个人都必须实现自己的基线。事实上,即使在标准任务上,每个项目在实验设置上也略有不同,无论是架构、超参数还是数据预处理。这使得与基线进行适当比较变得困难。

Uncertainty Baselines项目通过以下三种方式来解决这个问题:

在标准任务上提供标准方法和最先进方法的高质量实现。
对代码库中的其他文件的依赖性最小化。基线应该易于分叉,而不依赖于其他基线和通用模块。
规定不确定性和鲁棒性基准测试的最佳实践。

主要特点

Uncertainty Baselines项目具有以下主要特点:

高质量实现: 提供了19种方法在9个任务上的高质量实现,每个任务至少有5个指标。
易于使用和扩展: 每个基线都是一个独立的实验流水线,具有易于重用和扩展的组件。
多框架支持: 实现了TensorFlow、PyTorch和JAX三个主流深度学习框架的版本。
超参数优化: 每个基线的超参数都经过了大量迭代调优,以提供更好的结果。
标准化评估: 定义了跨数据集使用的标准化指标,包括参数数量、测试准确率、校准误差、负对数似然等。
可重现性: 提供了超参数调优结果和最终模型检查点,以增强可重现性。
模块化设计: 优化了基线的模块化和最小化,便于研究人员使用和构建。

项目结构

Uncertainty Baselines项目的主要组成部分包括:

基线

baselines/目录包含了所有基线,按训练数据集组织。例如,baselines/cifar/determinstic.py是一个在CIFAR-10上获得96.0%测试准确率的Wide ResNet 28-10模型。

数据集

ub.datasets模块包含了遵循TensorFlow Datasets API的数据集。它们添加了最小的逻辑,如默认数据预处理。

模型

ub.models模块包含了遵循tf.keras.Model API的模型。

使用方法

要安装最新的开发版本,运行:

pip install "git+https://github.com/google/uncertainty-baselines.git#egg=uncertainty_baselines"

注意,安装uncertainty_baselines不会自动安装任何后端。对于TensorFlow,你需要安装TensorFlow (tensorflow或tf-nightly)、TensorFlow Addons (tensorflow-addons或tfa-nightly)和TensorBoard (tensorboard或tb-nightly)。

使用数据集

import uncertainty_baselines as ub

# 加载CIFAR-10,保留10%用于验证
dataset_builder = ub.datasets.Cifar10Dataset(split='train',
                                             validation_percent=0.1)
train_dataset = dataset_builder.load(batch_size=FLAGS.batch_size)
for batch in train_dataset:
  # 对数据批次应用代码

使用模型

import uncertainty_baselines as ub

model = ub.models.wide_resnet(input_shape=(32, 32, 3),
                              depth=28,
                              width_multiplier=10,
                              num_classes=10,
                              l2=1e-4)

评估指标

Uncertainty Baselines定义了跨数据集使用的以下指标:

参数数量: 训练后模型进行预测所需的参数数量。
测试准确率: 在测试集上的准确率。
测试校准误差: 在测试集上的预期校准误差(ECE)。
测试负对数似然: 在测试集上的负对数似然(以纳特为单位)。
训练/测试运行时间: 训练运行时间是训练模型的总挂钟时间,包括任何中间测试集评估。测试运行时间指在GPU/TPU上运行正向传播所需的时间。

Uncertainty Baselines评估指标

未来发展

Uncertainty Baselines项目已被多个研究项目使用。未来,项目团队计划发布更多超参数调优结果和最终模型检查点,以进一步增强可重现性。他们也希望避免管道实现的微小差异影响基线比较,并鼓励研究人员为存储库贡献新方法。

Uncertainty Baselines为不确定性和鲁棒性研究提供了一个强大的基础,有望推动这一重要领域的进展。随着深度学习在现实世界中的应用不断扩大,提高模型的可靠性和鲁棒性将变得越来越重要。通过提供标准化的基准和最佳实践,Uncertainty Baselines为研究人员探索新想法和应用铺平了道路。