adapters

Adapters 项目介绍

项目概述

Adapters 是一款附加在 HuggingFace Transformers 库之上的开源库，旨在提供一种统一接口，便于在多种现代 Transformer 模型之间实现参数高效和模块化的迁移学习。Adapters 包含了超过10种 adapter 方法，并支持超过20种主流的 Transformer 模型，减少训练和推理过程中的编程负担。

功能简介

Adapters 专注于参数高效的微调和模块化迁移学习，支持多种高级特性。例如，全精度或量化训练（如 Q-LoRA、Q-Bottleneck Adapters 或 Q-PrefixTuning），通过任务运算合并 adapters，或通过构成模块（composition blocks）来组合多个 adapters。这些特性使得在自然语言处理任务中的参数高效迁移学习研究变得更加成熟。

安装指南

Adapters 支持 Python 3.8 及以上版本，以及 PyTorch 1.10 及以上版本。安装步骤如下：

确保已经安装 PyTorch，具体安装指南可参考 PyTorch 官网。
可以通过 PyPI 安装 Adapters：
```
pip install -U adapters
```

也可以从源代码安装：

git clone https://github.com/adapter-hub/adapters.git
cd adapters
pip install .

快速使用指南

加载预训练的 adapters

以下代码示例展示了如何加载预训练的 adapters：

from adapters import AutoAdapterModel
from transformers import AutoTokenizer

model = AutoAdapterModel.from_pretrained("roberta-base")
tokenizer = AutoTokenizer.from_pretrained("roberta-base")

model.load_adapter("AdapterHub/roberta-base-pf-imdb", source="hf", set_active=True)

print(model(**tokenizer("This works great!", return_tensors="pt")).logits)

适配现有模型设置

Adapt 现有模型，将新建的 adapter 整合进模型并进行训练：

import adapters
from transformers import AutoModelForSequenceClassification

model = AutoModelForSequenceClassification.from_pretrained("t5-base")

adapters.init(model)

model.add_adapter("my_lora_adapter", config="lora")
model.train_adapter("my_lora_adapter")

# 通常的训练循环...

灵活配置 adapters

配置不同的 adapter 以满足特定需求：

from adapters import ConfigUnion, PrefixTuningConfig, ParBnConfig, AutoAdapterModel

model = AutoAdapterModel.from_pretrained("microsoft/deberta-v3-base")

adapter_config = ConfigUnion(
    PrefixTuningConfig(prefix_length=20),
    ParBnConfig(reduction_factor=4),
)
model.add_adapter("my_adapter", config=adapter_config, set_active=True)

在单个模型中轻松组合 adapters

可以在模型中并行加载并组合多个 adapters：

from adapters import AdapterSetup, AutoAdapterModel
import adapters.composition as ac

model = AutoAdapterModel.from_pretrained("roberta-base")

qc = model.load_adapter("AdapterHub/roberta-base-pf-trec")
sent = model.load_adapter("AdapterHub/roberta-base-pf-imdb")

with AdapterSetup(ac.Parallel(qc, sent)):
    print(model(**tokenizer("What is AdapterHub?", return_tensors="pt")))