electra-small-generator

electra-small-generator项目介绍

项目概述

electra-small-generator是ELECTRA框架中的一个模型。ELECTRA是一种新的自监督语言表示学习方法，旨在预训练转换器网络（Transformer Networks），而且计算资源需求较低。这种方法让模型区分“真实”输入标记和由另一个神经网络生成的“伪”输入标记，有点类似于生成对抗网络（GAN）的鉴别器。

项目详细信息

语言: 模型使用的语言为英语。
许可证: Apache 2.0。
缩略图:

注意事项

在ELECTRA的原始代码库中，该项目中的生成器检查点是官方标准。然而，为了避免训练不稳定，论文建议鉴别器和生成器之间的超参数倍率应为1/4。然而，当使用google/electra-small-generator和google/electra-small-discriminator时，因为它们大小相近，这种问题并不存在。

ELECTRA的独特之处

ELECTRA通过训练区分“真实”和“伪”标记，在小规模下，即使单个GPU训练也能取得优异的结果，而大规模训练可以在SQuAD 2.0数据集上达到最先进的水平。

想了解详细的描述和实验结果，可以参阅论文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators。

使用方法

这个项目的存储库包含了预训练ELECTRA的代码，包括在单个GPU上进行的小型ELECTRA模型训练，还支持对下游任务进行微调，如分类任务（例如GLUE）、问答任务（例如SQuAD）和序列标注任务（例如文本分块）。

在`transformers`中使用生成器

以下是如何在transformers库中使用生成器的代码示例：

from transformers import pipeline

fill_mask = pipeline(
    "fill-mask",
    model="google/electra-small-generator",
    tokenizer="google/electra-small-generator"
)

print(
    fill_mask(f"HuggingFace is creating a {nlp.tokenizer.mask_token} that the community uses to solve NLP tasks.")
)