LoRA

LoRA: 大型语言模型的低秩适应

LoRA (Low-Rank Adaptation) 是一种针对大型语言模型的高效微调方法。它通过学习低秩矩阵来适应下游任务,同时冻结原始预训练模型的参数。这种方法大大减少了模型微调和存储所需的参数量,使得在部署时可以高效地进行任务切换,并且不会引入推理延迟。

主要特点

• 通过学习低秩分解矩阵对来减少可训练参数数量
• 冻结原始预训练模型权重,只训练新增的低秩矩阵
• 显著减少特定任务适配模型的存储需求
• 支持高效的多任务部署和切换
• 无推理延迟
• 在多项任务上的表现优于全量微调和其他高效微调方法

性能表现

在 GLUE 基准测试中,LoRA 在 RoBERTa 和 DeBERTa 模型上取得了与全量微调相当或更优的结果,同时只需训练和存储很小一部分参数。例如:

• RoBERTa base 模型上,LoRA 仅训练 0.8M 参数就达到了与全量微调 125M 参数相当的效果
• DeBERTa XXL 模型上,LoRA 训练 4.7M 参数就超过了全量微调 1.5B 参数的效果

在 GPT-2 模型上,LoRA 也优于全量微调和其他高效微调方法(如 Adapter、Prefix Tuning),在 E2E NLG Challenge、DART 和 WebNLG 等任务上取得了最佳或接近最佳的结果。

使用方法

使用 LoRA 非常简单:

1. 安装 loralib 包
2. 将需要适配的层替换为 loralib 中的对应实现
3. 在训练前标记只有 LoRA 参数可训练
4. 保存检查点时只保存 LoRA 参数
5. 加载检查点时使用 strict=False

优势与应用

LoRA 方法的主要优势在于:

1. 参数高效:显著减少了可训练参数数量,降低了计算和存储开销
2. 性能出色:在多种任务上达到或超过全量微调的效果
3. 灵活适配:可以应用于模型的不同层和组件
4. 快速部署:支持高效的多任务切换,无需重新加载大模型

这使得 LoRA 特别适合于需要频繁适配和部署大型语言模型的场景,如个性化服务、多领域应用等。

总的来说,LoRA 为大型语言模型的高效适配提供了一种简单有效的解决方案,有望推动大模型在更多实际应用中的落地。