UER-py

项目介绍：UER-py

项目背景

自然语言处理（NLP）任务中，预训练已经成为必要的一部分。UER-py（Universal Encoder Representations）是一个专用于通用领域语料预训练以及下游任务微调的工具包。该项目保持了模型的模块化和研究的可扩展性，可以让用户方便地使用现有的预训练模型，并提供了接口供用户进行扩展。另外，UER-py还建立了一个模型库，该库包含具备不同属性的预训练模型。

项目特色

UER-py具备以下几个特色：

• 重复性：UER-py已经在多种数据集上测试，可以与原始预训练模型实现（如BERT, GPT-2, ELMo和T5）匹配性能。
• 模型模块化：UER-py划分为嵌入层、编码器、目标嵌入（可选）、解码器（可选）和目标等组件，每个组件内都实现了丰富的模块，接口清晰而强健，允许用户尽量自由地组合模块构建预训练模型。
• 模型训练支持：支持CPU模式、单GPU模式和分布式训练模式。
• 模型库：借助UER-py，我们可以预训练并发布具备不同属性的模型，选择合适的预训练模型对于下游任务的性能至关重要。
• 领先结果：UER-py支持全面的下游任务（如分类和机器阅读理解），并在多个NLP竞赛中提供获胜方案。
• 丰富功能：提供与预训练相关的丰富功能，如特征提取和文本生成。

系统要求

使用UER-py需要满足以下系统要求：

• Python >= 3.6
• torch >= 1.1
• six >= 1.12.0
• argparse
• packaging
• regex

此外，某些特定功能的使用可能需要额外的库，比如用于预训练模型转换时需要TensorFlow，用于分词的SentencePiece，以及用于序列标注中使用CRF的pytorch-crf等。

快速入门

UER-py的使用可以通过一些常用例子进行示范。以下是一个简单的使用BERT模型在书评情感分类数据集上的示例。首先，需要对书评语料进行预处理，将其转换为预训练模型所需的格式，然后进行预训练，最后在下游分类任务上进行微调。

1. 预处理： 使用 preprocess.py 脚本处理语料，将原始文本转换为训练所需的格式。

2. 预训练： 下载已有的中文BERT模型，然后在书评语料上进行进一步的预训练。

3. 微调： 使用预训练得到的模型在下游分类数据集上进行微调。

4. 推理： 使用微调后的模型进行预测，输出结果。

详细的示例和使用说明可以参考快速入门指南。

数据集支持

UER-py提供了一系列可供直接加载的预训练数据和下游数据集的链接，方便用户使用。

模型库

用户可以在模型库中找到各种预训练模型，这些模型基于不同的语料、编码器和目标而制成，并可以直接通过UER-py加载使用。

使用说明

UER-py的代码结构基于组件进行组织，包括嵌入、编码器、解码器等模块，为用户的使用和扩展提供了便利。想要详细了解如何使用UER-py进行模型的预训练和微调，请参考使用说明。

竞赛解决方案

UER-py在许多NLP竞赛中被用于获得领先结果。在竞赛解决方案中，提供了一些使用UER-py在NLP竞赛中实现最佳结果的例子。

参考文献

如果在学术工作中使用了UER-py，请引用其在EMNLP 2019上发表的系统论文。

联系方式

如需更多交流，可以通过以下联系方式进行联系：赵哲、李育东、侯程、史文航等。项目的开发得到多位导师和同事的指导与帮助。