PyTorch 最小化

有关 pytorch-minimize 的最新信息，请查看文档网站：pytorch-minimize.readthedocs.io

Pytorch-minimize 是一个用于在 PyTorch 中最小化多变量函数的工具集合。它深受 SciPy 的 optimize 模块和 MATLAB 的优化工具箱的启发。与使用函数导数数值近似的 SciPy 和 MATLAB 不同，pytorch-minimize 使用自动微分在后台无缝计算的真实一阶和二阶导数。支持 CPU 和 CUDA。

作者：Reuben Feinman

简要概览：

import torch
from torchmin import minimize

def rosen(x):
    return torch.sum(100*(x[..., 1:] - x[..., :-1]**2)**2 
                     + (1 - x[..., :-1])**2)

# 初始点
x0 = torch.tensor([1., 8.])

# 从以下方法中选择：
#  ['bfgs', 'l-bfgs', 'cg', 'newton-cg', 'newton-exact', 
#   'trust-ncg', 'trust-krylov', 'trust-exact', 'dogleg']

# BFGS
result = minimize(rosen, x0, method='bfgs')

# 牛顿共轭梯度
result = minimize(rosen, x0, method='newton-cg')

# 牛顿精确
result = minimize(rosen, x0, method='newton-exact')

求解器：BFGS、L-BFGS、共轭梯度法（CG）、牛顿共轭梯度法（NCG）、牛顿精确法、狗腿法、信赖域精确法、信赖域 NCG、信赖域 GLTR（Krylov）

示例：查看 Rosenbrock 最小化笔记本，了解使用多种不同算法进行函数最小化的演示。

使用 pip 安装：

pip install pytorch-minimize

从源代码安装：

git clone https://github.com/rfeinman/pytorch-minimize.git
cd pytorch-minimize
pip install -e .

动机

虽然 PyTorch 提供了许多用于随机优化的例程，但确定性优化的工具却很少；optim 包中只包含 L-BFGS，而且它被修改用于小批量训练。

MATLAB 和 SciPy 是确定性优化的行业标准。这些库有一套全面的例程；然而，它们不支持自动微分。*因此，用户必须提供明确的一阶和二阶梯度（如果已知）或使用有限差分近似。

pytorch-minimize 的动机是提供一套具有自动梯度和 GPU 加速的确定性优化工具。

*MATLAB 通过深度学习工具箱提供最小的自动微分支持，但集成并不无缝：数据必须转换为 "dlarray" 结构，并且只支持部分函数。此外，导数仍然需要构造并作为函数句柄提供。 Pytorch-minimize 使用自动微分在后台计算导数，所以你只需提供一个目标函数。

库

pytorch-minimize 库包括用于通用函数最小化（无约束和有约束）的求解器，以及用于非线性最小二乘问题的求解器。

1. 无约束最小化器

以下求解器可用于_无约束_最小化：

BFGS/L-BFGS：BFGS 是无约束优化的典型拟牛顿方法。我实现了标准 BFGS 和"有限内存"L-BFGS。对于内存不是问题的较小规模问题，BFGS 应该比 L-BFGS 快得多（特别是在 CUDA 上），因为它避免了 Python 循环，而是使用纯 torch。
共轭梯度法（CG）。 共轭梯度算法是线性共轭梯度法在非线性优化问题上的推广。Pytorch-minimize 包含了 Nocedal & Wright (2006) 第 5.2 章描述的 Polak-Ribiére CG 算法的实现。
牛顿共轭梯度法（NCG）。 牛顿-拉夫森方法是无约束优化的基本方法。虽然使用 PyTorch 的反向自动微分计算完整的 Hessian 矩阵成本较高，但计算 Hessian-向量积却很廉价，而且还能节省大量内存。牛顿法的共轭梯度（CG）变体是使用 Hessian-向量积进行无约束最小化的有效解决方案。我实现了一个轻量级的 NewtonCG 最小化器，它使用 HVP 来解决线性逆子问题。
精确牛顿法。 在某些情况下，我们可能更倾向于使用牛顿-拉夫森方法的更精确变体，尽管这会增加额外的复杂性。我还实现了牛顿法的一个"精确"变体，它计算完整的 Hessian 矩阵，并使用 Cholesky 分解来解决线性逆子问题。当 Cholesky 分解失败时（即 Hessian 不是正定的），求解器会根据用户指定选择以下两种方案之一：1）最速下降方向（默认），或 2）使用 LU 分解求解逆 Hessian。
信赖域牛顿共轭梯度法。 描述即将推出。
信赖域牛顿广义 Lanczos（Krylov）法。 描述即将推出。
精确信赖域法。 描述即将推出。
Dogleg 法。 描述即将推出。

要访问无约束最小化器接口，请使用以下导入语句：

from torchmin import minimize

使用参数 method 来指定应用上述哪种求解器。

2. 约束最小化器

以下求解器可用于约束最小化：

信赖域约束算法。 Pytorch-minimize 包含一个基于 SciPy 的 'trust-constr' 方法的单一约束最小化例程。该算法通过 "constr" 和 "bounds" 参数接受广义非线性约束和变量边界。对于等式约束问题，它是 Byrd-Omojokun 信赖域 SQP 方法的实现。当施加不等式约束时，使用信赖域内点法。注意：当前的信赖域约束最小化器不是自定义实现，而是 SciPy 的 optimize.minimize 例程的包装器。它在后台使用自动微分来构建雅可比和 Hessian 可调用对象，然后调用 scipy。输入和目标函数应像其他 pytorch-minimize 例程一样使用 torch 张量。支持 CUDA 但不推荐使用；数据将在 GPU/CPU 之间来回移动。

要访问约束最小化器接口，请使用以下导入语句：

from torchmin import minimize_constr

3. 非线性最小二乘法

该库还包括专门用于非线性最小二乘问题的求解器。这些求解器围绕高斯-牛顿法展开，该方法是针对最小二乘设置而修改的牛顿法。最小二乘接口可以按以下方式导入：

from torchmin import least_squares

示例

Rosenbrock 最小化教程演示了如何使用 pytorch-minimize 通过各种优化策略找到多变量标量函数的最小值。

此外，SciPy 基准测试提供了 pytorch-minimize 求解器与 scipy.optimize 库中相应求解器的比较。对于从 scipy 转换过来的人来说，这个脚本将有助于了解当前库的设计。与 scipy 不同，pytorch-minimize 求解器不需要提供雅可比和 Hessian 函数，也不使用数值近似。

对于约束优化，对抗样本教程演示了如何使用信赖域约束例程在给定扰动范数约束的情况下生成最优对抗扰动。

优化器 API

作为函数式API的替代方案，pytorch-minimize还包含了一个基于torch.optim.Optimizer类的"优化器"API。要访问优化器类，可以按如下方式导入：

from torchmin import Minimizer

引用本工作

如果您在学术研究中使用了pytorch-minimize，可以按以下方式引用该库：

@misc{Feinman2021,
  author = {Feinman, Reuben},
  title = {Pytorch-minimize: a library for numerical optimization with autograd},
  publisher = {GitHub},
  year = {2021},
  url = {https://github.com/rfeinman/pytorch-minimize},
}