botorch

BoTorch 是一个基于 PyTorch 构建的贝叶斯优化库。

BoTorch 目前处于测试阶段，正在积极开发中！

为什么选择 BoTorch？

BoTorch

提供了一个模块化且易于扩展的接口，用于组合贝叶斯优化原语，包括概率模型、采集函数和优化器。
利用 PyTorch 的强大功能，包括自动微分、对高度并行的现代硬件（如 GPU）的原生支持，以及使用与设备无关的代码和动态计算图。
通过重参数化技巧支持基于蒙特卡洛的采集函数，这使得实现新想法变得简单直接，而无需对底层模型施加限制性假设。
可无缝集成 PyTorch 中的深度和/或卷积架构。
对 GPyTorch 中的最先进概率模型提供一流支持，包括对多任务高斯过程（GP）、深度核学习、深度 GP 和近似推理的支持。

目标受众

BoTorch 的主要受众是贝叶斯优化和人工智能领域的研究人员和高级从业者。我们建议将 BoTorch 作为实现新算法的低级 API，用于 Ax。Ax 的设计旨在为终端用户提供易于使用的平台，同时也足够灵活，可供贝叶斯优化研究人员插入以处理特征转换、（元）数据管理、存储等。我们建议不积极从事贝叶斯优化研究的终端用户直接使用 Ax。

安装

安装要求

Python >= 3.10
PyTorch >= 1.13.1
gpytorch == 1.12
linear_operator == 0.5.2
pyro-ppl >= 1.8.4
scipy
multiple-dispatch

仅适用于使用 Intel 处理器的 MacOS 用户的先决条件：

在安装 BoTorch 之前，我们建议首先手动安装 PyTorch，这是 BoTorch 的必需依赖项。按照 PyTorch 安装说明进行安装，确保它与 MKL 正确链接，MKL 是一个为 Intel 处理器优化数学计算的库。这将使贝叶斯优化的速度提高多达一个数量级，因为目前从 pip 安装 PyTorch 不会与 MKL 链接。

PyTorch 安装说明目前建议：

安装 Anaconda。请注意，Intel 和 M1 Mac 有不同的安装程序。
按照 PyTorch 安装说明安装 PyTorch。目前，这建议运行 conda install pytorch torchvision -c pytorch。

如果您想自定义安装，请按照 PyTorch 安装说明从源代码构建。

选项 1：安装最新版本

BoTorch 的最新版本可以通过 Anaconda（推荐）或 pip 轻松安装。 从Anaconda安装BoTorch，运行以下命令：

conda install botorch -c pytorch -c gpytorch -c conda-forge

上述命令会安装BoTorch及其所需的依赖项。-c pytorch -c gpytorch -c conda-forge表示安装优先级最高的是PyTorch频道，其次是GPyTorch频道，最后是conda-forge。

或者，使用pip安装，执行：

pip install botorch

注意：确保使用的pip确实是新创建的Conda环境中的版本。如果您使用的是基于Unix的操作系统，可以用which pip命令进行检查。

选项2：从最新主分支安装

如果您想尝试我们最新的功能（且不介意可能偶尔遇到的错误），可以直接从GitHub安装最新的开发版本。如果您还想安装当前gpytorch和linear_operator的开发版本，需要确保设置了ALLOW_LATEST_GPYTORCH_LINOP环境变量：

pip install --upgrade git+https://github.com/cornellius-gp/linear_operator.git
pip install --upgrade git+https://github.com/cornellius-gp/gpytorch.git
export ALLOW_LATEST_GPYTORCH_LINOP=true
pip install --upgrade git+https://github.com/pytorch/botorch.git

选项3：可编辑/开发安装

如果您想为BoTorch做出贡献，您可能希望进行可编辑安装，以便能够修改文件并在本地安装中反映这些更改。

如果您想像选项2那样安装当前gpytorch和linear_operator的开发版本，请在继续之前先完成那些步骤。

选项3a：基本的可编辑安装

git clone https://github.com/pytorch/botorch.git
cd botorch
pip install -e .

选项3b：包含开发和教程依赖项的可编辑安装

git clone https://github.com/pytorch/botorch.git
cd botorch
export ALLOW_BOTORCH_LATEST=true
pip install -e ".[dev, tutorials]"

dev：指定开发所需的工具（测试、代码检查、文档构建；详见下方的"贡献"部分）。
tutorials：同时安装运行教程笔记本所需的所有包。
您也可以只安装开发或教程依赖项中的一个，例如将最后一条命令改为pip install -e ".[dev]"。

入门

以下是贝叶斯优化循环主要组成部分的快速概览。更多详情请参阅我们的文档和教程。

将高斯过程模型拟合到数据

import torch
from botorch.models import SingleTaskGP
from botorch.models.transforms import Normalize, Standardize
from botorch.fit import fit_gpytorch_mll
from gpytorch.mlls import ExactMarginalLogLikelihood

# 强烈建议对GP使用双精度。
# 参见 https://github.com/pytorch/botorch/discussions/1444
train_X = torch.rand(10, 2, dtype=torch.double) * 2
Y = 1 - (train_X - 0.5).norm(dim=-1, keepdim=True)  # 显式输出维度
Y += 0.1 * torch.rand_like(Y)

gp = SingleTaskGP(
    train_X=train_X,
    train_Y=Y,
    input_transform=Normalize(d=2),
    outcome_transform=Standardize(m=1),
)
mll = ExactMarginalLogLikelihood(gp.likelihood, gp)
fit_gpytorch_mll(mll)

构造获取函数

from botorch.acquisition import LogExpectedImprovement

logNEI = LogExpectedImprovement(model=gp, best_f=Y.max())

优化获取函数

from botorch.optim import optimize_acqf

bounds = torch.stack([torch.zeros(2), torch.ones(2)]).to(torch.double)
candidate, acq_value = optimize_acqf(
    logNEI, bounds=bounds, q=1, num_restarts=5, raw_samples=20,
)

引用BoTorch

如果您使用BoTorch，请引用以下论文：

M. Balandat, B. Karrer, D. R. Jiang, S. Daulton, B. Letham, A. G. Wilson, and E. Bakshy. BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization. Advances in Neural Information Processing Systems 33, 2020.

@inproceedings{balandat2020botorch,
  title={{BoTorch: A Framework for Efficient Monte-Carlo Bayesian Optimization}},
  author={Balandat, Maximilian and Karrer, Brian and Jiang, Daniel R. and Daulton, Samuel and Letham, Benjamin and Wilson, Andrew Gordon and Bakshy, Eytan},
  booktitle = {Advances in Neural Information Processing Systems 33},
  year={2020},
  url = {http://arxiv.org/abs/1910.06403}
}

点击此处可查看一些基于BoTorch的同行评审论文的不完全列表。