relora

ReLoRA -- 项目介绍

项目背景

ReLoRA代表了一种独特的深度学习训练方法，强调通过低秩更新来进行高秩训练。这一方法在《Stack More Layers Differently: High-Rank Training Through Low-Rank Updates》这篇论文中被详细介绍。ReLoRA的宗旨是优化深度学习模型的训练过程，实现更灵活有效的模型更新。

环境配置

使用ReLoRA需要Python 3.10及以上版本以及PyTorch 2.0及以上版本。对于这个项目，所有软件包的要求都列在了requirements.txt文件中，以确保用户可以快速搭建所需环境。此外，还需要安装flash-attn，虽然它不在默认的要求列表中，但在某些情况可能需要手动安装。

训练参数

在进行1B参数模型训练时，通常采用是正常训练学习率的两倍。然而，对于较大的模型，可能需要对学习率进行调节。微批量大小取决于GPU的内存大小。需要注意的是，ReLoRA允许使用比常规训练更大的微批量大小，从而提高训练效率。

数据预处理

数据的预处理步骤需要一定的时间。用户需要指定数据集、文本字段、序列长度等参数，来预处理数据并保存。这是训练模型的重要准备步骤，确保模型可以使用高质量的输入数据进行训练。

模型训练

ReLoRA训练分为两个阶段：首先进行常规预热训练，然后在此基础上进行ReLoRA训练。预热阶段需要设置诸如学习率、批量大小、训练步数等基本参数。在预热阶段结束后，通过使用不同的学习率以及其他优化器选项进行ReLoRA训练。

重要参数说明

1. 重置频率：由--relora参数决定，在一定数量的更新步骤后进行重置。
2. 优化策略：提供了不同的选项，如--reset_optimizer_on_relora用于在每一次ReLoRA重置时重置优化器状态。
3. 学习率调度：支持余弦衰减调度器，在训练周期中重复执行预热。

批处理大小调整

针对多GPU环境，建议避免直接使用--gradient_accumulation选项，而是使用--total_batch_size选项，由程序自动处理梯度累积逻辑。

分布式训练支持

ReLoRA支持使用PyTorch DDP进行单节点分布式训练，可以使用torchrun命令按照指定的GPU数量进行训练。

总结

ReLoRA通过灵活的参数设置和高效的训练方法，为深度学习模型的优化带来了新的可能。这一项目潜力巨大，适用于需要高效模型更新的各类应用。随着社区的支持和用户的反馈，ReLoRA将继续发展，推动深度学习训练的创新和进步。