mup

Maximal Update Parametrization (μP) 和超参数迁移 (μTransfer) 项目介绍

mup 项目主要研究如何通过 Maximal Update Parametrization (μP) 实现超大规模神经网络的更多稳定和高效的超参数调优。在此框架下，开发者可以通过名为 Hyperparameter Transfer (μTransfer) 的技术来更轻松地调整神经网络的超参数。

μP 的重要性

神经网络的超参数调整往往因模型的大小而易成为开发过程中的一个难点问题。通过 μP，将不同规模的神经网络训练时的最优超参数稳定化，这意味研究和调优小型版本的网络并不必然要求针对每种规模重新骇参数。这样可以大幅简化预训练过的大型变换器类模型的调优过程，并减少从模型探索阶段到大规模部署阶段的风险和不确定性。

μP 的工作原理

μP 是一种独特且“自然”的参数化方法，能够跨模型宽度稳定超参数。研究者通过实验证实了这一性质。在 μP 模式下，神经网络在训练时将对模型的不同宽度均表现出更一致的学习率和初始化特性，使其更易于预测行为。

项目安装和使用

要开始使用 μP，只需通过 Python 包管理器 pip 安装 mup 包：

pip install mup

用户也可从源代码构建安装，通过克隆项目并切换到项目目录，然后执行以下命令：

pip install -r requirements.txt
pip install -e .

一旦安装完成，用户可以在 PyTorch 模型中使用 mup 提供的工具。核心思路是使用 MuReadout 等组件替代现有模型层，并调整模型的基本形状，以实现 μP。具体来说，设置模型基本形状的函数 set_base_shapes 能帮助用户在模型宽度发生变化时确保模型参数和学习率的适配性。