pytorch-openai-transformer-lm

PyTorch版本的OpenAI微调Transformer语言模型介绍

PyTorch版OpenAI微调Transformer语言模型是对OpenAI发表的一篇名为《通过生成预训练提升语言理解》的论文所附TensorFlow代码的实现。该实现由Alec Radford、Karthik Narasimhan、Tim Salimans和Ilya Sutskever等人提供。本文将以通俗易懂的方式介绍这个项目的内容和使用方法。

项目概述

这个项目的主要功能是将用TensorFlow实现的OpenAI预训练语言模型的权重加载到一个PyTorch模型中。为了实现这一目标，本项目提供了一个脚本，可以读取这些预训练的权重并加载到PyTorch模型中。这不仅简化了在PyTorch中使用这些预训练模型的流程，还保证了与原始实现的一致性。

代码实现细节

项目中代码的各个模块与TensorFlow实现中的变量命名保持一致，尽可能减少由于实现差异导致的结果不一致。除了基础的模型与加载脚本，本项目还包含了OpenAI论文中提到的改进Adam优化算法。该算法引入了：

固定的权重衰减，参考Loshchilov等人的研究。
适用于Transformer模型的学习率调度策略。

系统需求

要使用这个模型，用户需安装以下软件：

PyTorch（版本 >= 0.4）

如果需要运行训练脚本train.py，还需安装以下库：

tqdm
sklearn
spacy
ftfy
pandas

用户可以通过克隆Alec Radford的开源库，并将包含预训练权重的model文件夹放置在当前目录中，以下载OpenAI预训练版本的权重。

使用预训练模型

要使用预训练好的Transformer语言模型，可以按如下方式操作：

from model_pytorch import TransformerModel, load_openai_pretrained_model, DEFAULT_CONFIG

args = DEFAULT_CONFIG
model = TransformerModel(args)
load_openai_pretrained_model(model)

这个模型能生成Transformer的隐藏状态。用户可以通过model_pytorch.py中的LMHead类添加一个与编码器权重绑定的解码器，从而得到完整的语言模型。也可以通过ClfHead类在Transformer上方添加一个分类器，从而得出一个分类器模型，正如OpenAI的论文中描述的那样。

微调模型进行分类任务

项目提供了一个微调模型进行分类任务的方法，特别是在ROCStories Cloze任务上的应用。用户可以下载ROCStories数据集，并利用项目中的训练代码进行实验。具体操作步骤可以参照代码train.py。

在单一NVidia K-80 GPU上，微调PyTorch模型3个Epochs大约需要10分钟。与原作者的TensorFlow代码的中间精度85.8%相比，PyTorch版本的单次运行测试精度为85.84%。提高批处理大小从8到20能够提升2.5个百分点的测试精度，多GPU的设置可能进一步提高精度，但尚未尝试。

该实现还提高了ROCStories数据集上此前最高的准确率77.6%，由Chaturvedi等人提到的"Hidden Coherence Model"达到。这是一项出色的研究，发表在EMNLP 2017的“Story Comprehension for Predicting What Happens Next”中。

通过这个项目，用户可以在PyTorch平台上方便地使用OpenAI发布的预训练Transformer语言模型，并进一步对其进行微调以适应具体的自然语言处理任务。