LoraHub：通过动态LoRA组合实现高效跨任务泛化

这是我们论文LoraHub：通过动态LoRA组合实现高效跨任务泛化的官方代码仓库，包含代码和预训练模型。

🔥 最新动态

[2024-7-18]：我们的论文被COLM 2024接收！
[2023-9-13]：现在可以通过pip install lorahub轻松安装。有关接口使用说明，请参阅example.py文件
[2023-8-29]：我们发布了完整的复现代码reproduce_bbh.py。请查看该脚本以复现我们的结果！
[2023-8-03]：已集成到Replicate，查看演示！
[2023-7-27]：我们发布了代码和演示。快来体验吧！
[2023-7-26]：我们发布了论文。

🏴󠁶󠁵󠁭󠁡󠁰󠁿 概述

低秩适应(LoRA)是一种在新任务上微调大型语言模型的技术。我们提出了LoraHub，一个允许组合多个在不同任务上训练的LoRA模块的框架。目标是仅使用少量示例就能在未见任务上取得良好性能，无需额外参数或训练。我们希望建立一个市场，用户可以在其中共享他们训练好的LoRA模块，从而促进这些模块在新任务中的应用。

该图展示了零样本学习、少样本上下文学习和少样本lorahub学习（我们的方法）。请注意，组合过程是针对每个任务而非每个示例进行的。我们的方法实现了与零样本学习相似的推理吞吐量，同时在BIG-Bench Hard (BBH)基准测试上接近上下文学习的性能。实验结果显示，在少样本场景下，我们的方法相比零样本学习具有更高的效率，同时与上下文学习(ICL)的性能相近。

该图展示了LoraHub学习的流程。我们的方法包括两个阶段：组合阶段和适应阶段。在组合阶段，现有的LoRA模块被整合成一个统一的模块，使用一组权重（表示为w）作为系数。在适应阶段，合并后的LoRA模块在未见任务的少量示例上进行评估。随后，应用无梯度算法来优化w。经过K次迭代后，产生一个高度适应的LoRA模块，可与LLM结合以执行目标任务。

⚡️ 快速开始

你可以使用以下命令安装lorahub：

pip install lorahub

然后你可以通过简单调用lorahub_learning函数来使用lorahub学习：

from lorahub.algorithm import lorahub_learning, lorahub_inference
from lorahub.constant import LORA_MODULE_NAMES
import random


def get_examples_for_learning():
    """
    获取一些示例来学习组合给定的LoRA模块
    """
    return [
        {"input":
            "从上下文推断日期。\n\nQ: Jane正在庆祝2012年1月的最后一天。明天的日期是多少(格式为MM/DD/YYYY)？\n选项：\n(A) 02/02/2012\n(B) 02/15/2012\n(C) 01/25/2012\n(D) 04/22/2012\n(E) 02/01/2012\n(F) 02/11/2012\nA:", "output": "(E)"}
    ]

def get_lora_module_list():
    """
    你可以有自定义的筛选策略来选择用于组合的模块。这里我们随机选择20个模块。
    """
    random.seed(42)
    return random.sample(LORA_MODULE_NAMES, 20)


# 获取要用于组合的模块列表
modules = get_lora_module_list()
print("modules:", modules)

# 构建输入列表和输出列表
example_inputs, examples_outputs = [], []
for example in get_examples_for_learning():
    example_inputs.append(example["input"])
    examples_outputs.append(example["output"])

# 执行LoRAHub学习
module_weights, model, tokenizer = lorahub_learning(lora_module_list=modules,
                                                    example_inputs=example_inputs,
                                                    example_outputs=examples_outputs,
                                                    max_inference_step=40,
                                                    batch_size=1)

print("module_weights:", module_weights)

lorahub_learning函数的接口设计如下：

lorahub_learning(lora_module_list: List[str], # LoRA候选模块列表
                 example_inputs: List[str],
                 example_outputs: List[str],
                 max_inference_step: int, 
                 model_name_or_path=None, # 如果未给出，我们将使用LoRA配置中的model_name_or_path
                 batch_size=None, 
                 get_loss=default_get_loss, # 获取优化目标的函数，默认使用损失（可以更改为准确率或相似度等）
                 get_regular=default_l1_regularization,  # 获取权重正则化项的函数，默认使用0.05*|w_i|
                 seed=42)

完整示例可以在example.py中找到。

🌲 项目结构

lorahub源代码的组织结构如下：

|-- lorahub
    -- algorithm.py # lorahub学习和推理的主要代码
    -- constant.py # LoRA候选模块名称
|-- example.py # 用于演示目的的使用代码

🏰 资源

LoRA候选

我们的方法需要一系列在先前任务上训练的LoRA模块。为了与Flan保持一致，我们采用了用于指导Flan-T5的任务，通过以下命令整合了近196个不同的任务及其相应的指令：

git clone https://huggingface.co/datasets/lorahub/flanv2

随后，我们创建了几个LoRA模块作为可能的候选。这些LoRA模块可以在https://huggingface.co/models?search=lorahub 上访问。

💬 引用

如果我们的工作对你有用，请考虑引用我们的论文：

@misc{huang2023lorahub,
    title={LoraHub: Efficient Cross-Task Generalization via Dynamic LoRA Composition}, 
    author={Chengsong Huang and Qian Liu and Bill Yuchen Lin and Tianyu Pang and Chao Du and Min Lin},
    year={2023},
    eprint={2307.13269},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}