xlnet-large-cased

XLNet-large-cased项目介绍

XLNet-large-cased是一个在英语语料上预训练的大型语言模型。这个模型由Yang等人在论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》中提出,并首次在GitHub上发布。

模型概述

XLNet是一种新型的无监督语言表示学习方法,它基于一种新颖的广义排列语言建模目标。该模型采用Transformer-XL作为骨干网络,在处理长文本上下文的语言任务时表现出色。总的来说,XLNet在各种下游语言任务中都取得了最先进的结果,包括问答、自然语言推理、情感分析和文档排序等。

技术特点

XLNet模型有以下几个显著的技术特点:

采用广义自回归预训练方法,克服了BERT等模型的缺陷
引入了Transformer-XL架构,能够处理更长的上下文依赖
使用双流注意力机制,提高了模型的表达能力
整合了自回归语言模型和自编码语言模型的优点

应用场景

XLNet-large-cased模型主要用于在下游任务上进行微调。它特别适合于以下类型的任务:

序列分类
令牌分类
问答系统

需要注意的是,该模型主要针对使用整个句子(可能带掩码)进行决策的任务。对于文本生成等任务,建议使用GPT-2等其他模型。

使用方法

使用XLNet-large-cased模型非常简单。以下是使用PyTorch获取给定文本特征的示例代码:

from transformers import XLNetTokenizer, XLNetModel

tokenizer = XLNetTokenizer.from_pretrained('xlnet-large-cased')
model = XLNetModel.from_pretrained('xlnet-large-cased')

inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")
outputs = model(**inputs)

last_hidden_states = outputs.last_hidden_state