OpenPrompt: 一个开源的提示学习框架

OpenPrompt

OpenPrompt:开启提示学习的新时代

在自然语言处理(NLP)领域,预训练语言模型(PLMs)的出现极大地推动了各项任务的进展。然而,如何有效地将这些庞大的模型应用到下游任务中,一直是研究人员面临的挑战。近年来,提示学习(Prompt-learning)作为一种新兴的范式,为解决这一问题提供了全新的思路。OpenPrompt作为一个开源的提示学习框架,为研究人员和开发者提供了强大的工具,让他们能够更加便捷地探索和实践提示学习的各种可能性。

什么是提示学习?

提示学习是一种将下游NLP任务转化为预训练任务的方法。它通过设计文本模板来修改输入,使得预训练语言模型可以直接用于目标任务。与传统的微调方法相比,提示学习更好地利用了预训练模型的知识,在少样本和零样本场景下表现尤为出色。

OpenPrompt框架正是为了支持这种新兴的学习范式而生。它提供了一套标准化、灵活且可扩展的工具,使得研究人员可以轻松地实现和比较各种提示学习方法。

OpenPrompt的核心特性

模块化设计: OpenPrompt将提示学习过程分解为多个模块,包括模板(Template)、词汇器(Verbalizer)和提示模型(PromptModel)等。这种设计使得用户可以灵活地组合和定制各个组件。
广泛的模型支持: 框架直接兼容Hugging Face Transformers库中的预训练模型,包括BERT、RoBERTa、T5等主流模型。
多样化的提示方法: OpenPrompt实现了多种提示模板和词汇化策略,同时支持手动和自动生成的提示。
易于使用: 提供了简洁的API和详细的教程,使得即使是初学者也能快速上手。
高度可扩展: 用户可以轻松地添加自定义的模板、词汇器或优化策略。

使用OpenPrompt的工作流程

使用OpenPrompt进行提示学习通常包括以下步骤:

定义任务: 确定NLP任务的类型和数据格式。
选择预训练模型: 根据任务需求选择合适的PLM。
设计模板: 创建一个文本模板,用于将原始输入转化为提示形式。
定义词汇器: 建立标签与词汇表中单词的映射关系。
构建PromptModel: 将PLM、模板和词汇器组合成一个完整的提示模型。
准备数据加载器: 使用PromptDataLoader处理数据集。
训练与推理: 像使用普通PyTorch模型一样进行训练和推理。

以情感分析任务为例,我们可以这样使用OpenPrompt:

from openprompt.data_utils import InputExample
from openprompt.plms import load_plm
from openprompt.prompts import ManualTemplate, ManualVerbalizer
from openprompt import PromptForClassification, PromptDataLoader

# 定义任务
classes = ["negative", "positive"]
dataset = [
    InputExample(guid=0, text_a="这部电影太棒了!"),
    InputExample(guid=1, text_a="剧情很无聊,浪费时间。")
]

# 加载预训练模型
plm, tokenizer, model_config, WrapperClass = load_plm("bert", "bert-base-chinese")

# 设计模板
template = ManualTemplate(
    text='{"placeholder":"text_a"} 总的来说,这是{"mask"}',
    tokenizer=tokenizer
)

# 定义词汇器
verbalizer = ManualVerbalizer(
    classes=classes,
    label_words={
        "negative": ["糟糕", "差劲", "不好"],
        "positive": ["优秀", "出色", "很好"]
    },
    tokenizer=tokenizer
)

# 构建PromptModel
prompt_model = PromptForClassification(
    template=template,
    plm=plm,
    verbalizer=verbalizer,
)

# 准备数据加载器
data_loader = PromptDataLoader(
    dataset=dataset,
    tokenizer=tokenizer,
    template=template,
    tokenizer_wrapper_class=WrapperClass
)

# 训练与推理
prompt_model.eval()
with torch.no_grad():
    for batch in data_loader:
        logits = prompt_model(batch)
        preds = torch.argmax(logits, dim=-1)
        print([classes[pred] for pred in preds])