CLUE

CLUE 项目介绍

CLUE 项目（Chinese Language Understanding Evaluation）是一个专注于中文自然语言处理的基准平台。它提供了一系列资源，包括数据集、基准（预训练）模型、语料库以及排行榜，以帮助推动中文语言理解领域的发展。

核心组成部分

数据集

CLUE 项目选择了一系列具有代表性的任务对应数据集来作为测试基准。这些数据集涵盖了不同的任务类型、数据量和任务难度，使得模型在广泛的应用场景中得到全面的评估。主要数据集包括：

• AFQMC (蚂蚁金融语义相似度)：用于评价句子对的语义相似度。
• TNEWS (今日头条新闻分类)：短文本分类任务，对新闻进行类别标注。
• IFLYTEK (长文本分类)：对各类应用主题进行的长文本分类。
• OCNLI (中文自然语言推理)：非翻译的、原生汉语的自然语言推理数据集。
• CLUEWSC2020 (Winograd模式挑战中文版)：代词消歧任务。
• CSL (论文关键词识别)：通过摘要判断关键词是否真实。
• CMRC2018 (简体中文阅读理解)：针对简体中文的阅读理解任务。
• DRCD (繁体阅读理解)：用于繁体中文的阅读理解测试。

各数据集都可以通过项目提供的公开链接进行下载和使用。

基准模型

CLUE 项目支持多个基准模型，其中包括：

• BERT-base
• BERT-wwm-ext
• ERNIE-base
• RoBERTa-large
• XLNet-mid
• ALBERT 各级（base, large, xlarge, xxlarge, etc.）

这些模型经过训练后，可以用于对比不同自然语言处理任务的表现。例如在分类任务中，各个模型会在特定的测试集上进行分数计算，通过排行榜展示它们的性能。

排行榜

CLUE 提供一个定期更新的排行榜，记录市场上领先的模型在各项任务中的表现。通过排行榜，用户可以了解当前最新和最优模型的表现情况。

运行说明

为了方便开发者进行测试和评估，CLUE 项目提供了一键运行的基线模型代码和使用说明。用户可以通过克隆项目，进入相应目录，运行脚本，即可开始进行模型训练和评估。

语料库

CLUE项目中的语料库CLUECorpus2020，包含超过14G的数据，主要用于语言建模、预训练或生成型任务。这些语料主要来自多个来源，并经过良好的定义和处理，以便在预训练任务中进行高效使用。

工具包

CLUE 提供了PyCLUE工具包，以便于用户更容易地在项目中进行各种语言任务的处理。PyCLUE工具包让用户能够快速地处理10个任务，并支持9大主流模型。

项目愿景

CLUE 项目旨在通过提供顶级平台来评估中文语言理解模型，从而推动中文语言技术和应用的发展。作为通用语言模型评估的有力补充，它为中文语言理解任务的发展提供了坚实的基础设施。

通过上述多种功能和资源，CLUE项目已经成为中文自然语言处理领域的重要参考标准，为学术研究和工业应用提供了宝贵的支持。