OpenPrompt:一个开源的提示学习框架

OpenPrompt:开启提示学习新时代

近年来,随着大型语言模型(LLM)的快速发展,提示学习(Prompt Learning)作为一种新兴的自然语言处理范式正在受到越来越多研究人员的关注。为了推动提示学习技术的发展与应用,清华大学自然语言处理实验室(THUNLP)开发了一个名为OpenPrompt的开源框架。本文将详细介绍OpenPrompt的主要功能特性、使用方法以及其在NLP领域的应用前景。

OpenPrompt简介

OpenPrompt是一个基于PyTorch的开源框架,旨在为NLP任务提供标准化、灵活且可扩展的提示学习流程。该框架支持加载来自Hugging Face Transformers库的预训练语言模型(PLM),并提供了多种提示模板和标签器实现。OpenPrompt的设计理念是模块化和可扩展性,使研究人员和开发者能够轻松地实现和测试新的提示学习方法。

OpenPrompt框架概览

OpenPrompt的主要功能

多种预训练模型支持:OpenPrompt可以直接加载Hugging Face Transformers库中的预训练语言模型,如BERT、RoBERTa、T5等。
灵活的模板定义:框架提供了多种模板类型,包括手动模板、自动模板、混合模板等,方便用户根据不同任务需求自定义输入形式。
可扩展的标签器:OpenPrompt实现了多种标签器,如手动标签器、自动标签器等,用于将原始标签映射到模型词汇表中的标签词。
提示优化策略:框架集成了多种提示优化方法,如PrefixTuning、P-Tuning等,以提高模型性能。
数据处理工具:OpenPrompt提供了丰富的数据处理工具,包括Few-shot采样器、数据增强等功能。
训练和评估:框架内置了训练器和评估器,支持分类、生成等多种任务类型。

使用OpenPrompt进行提示学习

下面通过一个简单的情感分析示例来展示如何使用OpenPrompt进行提示学习:

定义任务:

from openprompt.data_utils import InputExample

classes = ["negative", "positive"]
dataset = [
    InputExample(guid=0, text_a="Albert Einstein was one of the greatest intellects of his time."),
    InputExample(guid=1, text_a="The film was badly made."),
]

加载预训练模型:

from openprompt.plms import load_plm

plm, tokenizer, model_config, WrapperClass = load_plm("bert", "bert-base-cased")

定义模板:

from openprompt.prompts import ManualTemplate

promptTemplate = ManualTemplate(
    text='{"placeholder":"text_a"} It was {"mask"}',
    tokenizer=tokenizer,
)

定义标签器:

from openprompt.prompts import ManualVerbalizer

promptVerbalizer = ManualVerbalizer(
    classes=classes,
    label_words={
        "negative": ["bad"],
        "positive": ["good", "wonderful", "great"],
    },
    tokenizer=tokenizer,
)

构建PromptModel:

from openprompt import PromptForClassification

promptModel = PromptForClassification(
    template=promptTemplate,
    plm=plm,
    verbalizer=promptVerbalizer,
)

定义数据加载器:

from openprompt import PromptDataLoader

data_loader = PromptDataLoader(
    dataset=dataset,
    tokenizer=tokenizer,
    template=promptTemplate,
    tokenizer_wrapper_class=WrapperClass,
)

训练和推理:

import torch

promptModel.eval()
with torch.no_grad():
    for batch in data_loader:
        logits = promptModel(batch)
        preds = torch.argmax(logits, dim=-1)
        print(classes[preds])