adapters

Adapters 项目介绍

项目概述

Adapters 是一款附加在 HuggingFace Transformers 库之上的开源库，旨在提供一种统一接口，便于在多种现代 Transformer 模型之间实现参数高效和模块化的迁移学习。Adapters 包含了超过10种 adapter 方法，并支持超过20种主流的 Transformer 模型，减少训练和推理过程中的编程负担。

功能简介

Adapters 专注于参数高效的微调和模块化迁移学习，支持多种高级特性。例如，全精度或量化训练（如 Q-LoRA、Q-Bottleneck Adapters 或 Q-PrefixTuning），通过任务运算合并 adapters，或通过构成模块（composition blocks）来组合多个 adapters。这些特性使得在自然语言处理任务中的参数高效迁移学习研究变得更加成熟。

安装指南

Adapters 支持 Python 3.8 及以上版本，以及 PyTorch 1.10 及以上版本。安装步骤如下：

1. 确保已经安装 PyTorch，具体安装指南可参考 PyTorch 官网。
2. 可以通过 PyPI 安装 Adapters：

   pip install -U adapters

3. 也可以从源代码安装：

   git clone https://github.com/adapter-hub/adapters.git
   cd adapters
   pip install .

快速使用指南

加载预训练的 adapters

以下代码示例展示了如何加载预训练的 adapters：

from adapters import AutoAdapterModel
from transformers import AutoTokenizer

model = AutoAdapterModel.from_pretrained("roberta-base")
tokenizer = AutoTokenizer.from_pretrained("roberta-base")

model.load_adapter("AdapterHub/roberta-base-pf-imdb", source="hf", set_active=True)

print(model(**tokenizer("This works great!", return_tensors="pt")).logits)

适配现有模型设置

Adapt 现有模型，将新建的 adapter 整合进模型并进行训练：

import adapters
from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained("t5-base")

adapters.init(model)

model.add_adapter("my_lora_adapter", config="lora")
model.train_adapter("my_lora_adapter")

# 通常的训练循环...

灵活配置 adapters

配置不同的 adapter 以满足特定需求：

from adapters import ConfigUnion, PrefixTuningConfig, ParBnConfig, AutoAdapterModel

model = AutoAdapterModel.from_pretrained("microsoft/deberta-v3-base")

adapter_config = ConfigUnion(
    PrefixTuningConfig(prefix_length=20),
    ParBnConfig(reduction_factor=4),
)
model.add_adapter("my_adapter", config=adapter_config, set_active=True)

在单个模型中轻松组合 adapters

可以在模型中并行加载并组合多个 adapters：

from adapters import AdapterSetup, AutoAdapterModel
import adapters.composition as ac

model = AutoAdapterModel.from_pretrained("roberta-base")

qc = model.load_adapter("AdapterHub/roberta-base-pf-trec")
sent = model.load_adapter("AdapterHub/roberta-base-pf-imdb")

with AdapterSetup(ac.Parallel(qc, sent)):
    print(model(**tokenizer("What is AdapterHub?", return_tensors="pt")))

支持的模型与方法

Adapters 库当前支持的模型及方法丰富，包括 Bottleneck adapters、AdapterFusion、默认 Drop、Prefix Tuning、QLoRA、ReFT 等方法。通过与 PyTorch 的结合，提供了一流的迁移学习工具。

结语

Adapters 通过提供参数高效和模块化的迁移学习方法，极大地方便了自然语言处理工作的科研和实际应用。无论是现有机器学习模型的改进，还是全新的研究方向的探索，它都提供了强大而灵活的解决方案。