LoftQ: 提升大语言模型量化微调效果的创新方法

LoftQ:让大语言模型量化微调更简单高效

大语言模型(LLM)的出现为自然语言处理领域带来了巨大的进步,但其庞大的参数量也带来了巨大的计算和内存开销。为了让更多研究者和开发者能够使用和微调这些模型,各种模型压缩和参数高效微调技术应运而生。其中,量化(Quantization)和LoRA(Low-Rank Adaptation)是两种广受欢迎的技术。

量化通过降低模型参数的精度来减少内存占用和计算量,而LoRA则通过只更新一小部分低秩参数来实现高效微调。然而,这两种技术的结合使用仍然存在一些挑战。最近,微软研究院的研究人员提出了一种名为LoftQ的新方法,旨在解决量化和LoRA结合使用时的问题,进一步提升大语言模型量化微调的效果。

LoftQ的创新之处

LoftQ全称为LoRA-Fine-Tuning-aware Quantization,即感知LoRA微调的量化方法。它的核心思想是在量化过程中同时考虑LoRA微调,为LoRA参数寻找更好的初始化。

传统的QLoRA方法是先对模型进行量化,然后再初始化LoRA参数。这种方式忽略了量化对模型表征能力的影响,可能会导致微调效果不佳。LoftQ通过迭代优化的方式,同时寻找合适的量化权重和LoRA参数初始化,使得量化模型加上LoRA参数后能更好地approximation原始的全精度模型。

具体来说,LoftQ的算法包括以下步骤:

对预训练模型的权重进行量化
寻找最佳的LoRA参数A和B,使得量化权重Q加上AB^T能最大程度地接近原始权重W
重复步骤1和2多次,不断优化量化权重和LoRA参数

通过这种方式,LoftQ能够在保持低比特量化的同时,为LoRA微调提供更好的起点,从而在下游任务上取得更好的效果。

LoftQ示意图

LoftQ的实验效果

研究人员在多个任务和模型上验证了LoftQ的效果。以下是一些主要结果:

在WikiText-2和GSM8K数据集上,LoftQ在各种低比特(2-4bit)量化设置下都优于标准QLoRA方法。特别是在2bit量化这种极端情况下,LoftQ仍能保持不错的性能,而标准方法则完全失效。
在Phi-2模型上的GSM8K任务中,4bit LoftQ(64.1%)的效果非常接近16bit LoRA(64.8%),而标准QLoRA只能达到60.2%。
对于LLAMA-3-8B模型,4bit LoftQ(68.0%)同样显著优于4bit QLoRA(67.4%),接近16bit LoRA(69.3%)的水平。
在BART-large模型的摘要任务上,LoftQ在低比特量化下依然能保持接近全精度的ROUGE分数。
对DeBERTa-V3-base模型在GLUE基准测试上的实验显示,2bit LoftQ能在大多数任务上达到接近16bit的性能。

这些结果表明,LoftQ在各种模型和任务上都能在低比特量化的情况下保持良好的性能,为大语言模型的高效部署和微调提供了新的可能。

使用LoftQ

LoftQ已经被集成到Hugging Face的PEFT库中,使用起来非常方便。以下是一个简单的使用示例:

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
from peft import PeftModel

MODEL_ID = "LoftQ/Mistral-7B-v0.1-4bit-64rank"

base_model = AutoModelForCausalLM.from_pretrained(
    MODEL_ID, 
    torch_dtype=torch.bfloat16,
    quantization_config=BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_compute_dtype=torch.bfloat16,
        bnb_4bit_use_double_quant=False,
        bnb_4bit_quant_type='nf4',
    ),
)
peft_model = PeftModel.from_pretrained(
    base_model,
    MODEL_ID,
    subfolder="loftq_init",
    is_trainable=True,
)

# 接下来就可以进行微调训练了