t5-v1_1-large

T5-v1_1-large 项目介绍

背景

T5，全称为Text-to-Text Transfer Transformer，是Google推出的一种在自然语言处理（NLP）中应用的强大工具。T5通过将所有语言问题转化为文本到文本的格式，实现了统一的框架。此模型的核心思路是利用迁移学习技术，先在数据丰富的任务上进行预训练，然后针对具体任务进行微调。这种方法提高了各种语言理解任务的效果。

项目概览

T5-v1_1-large 是T5模型的一个改进版本，它引入了多项优化措施：

• 激活函数改进：在前馈隐藏层中，采用了GEGLU激活函数代替原来的ReLU函数，这种改进能提升模型的表现。
• Dropout调整：在预训练阶段关闭了Dropout，提高了模型质量。建议在微调阶段重新开启。
• 专注数据集：预训练仅使用C4数据集，不掺杂下游任务的数据。
• 参数设置优化：嵌入层和分类器层之间不共享参数。
• 模型大小调整：引入了"xl"和"xxl"代替之前的“3B”和“11B”规模，调整了模型的结构，即加大了d_model，减少了num_heads和d_ff。

适用性

需要注意的是，T5 Version 1.1没有进行监督训练，仅在C4数据集上完成了预训练。这意味着模型在应用于具体任务之前，需要通过微调进行适应。

数据与公开资源

• 预训练数据集：C4
• 其他社区支持的检查点：Hugging Face模型库
• 相关论文：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

研究成果

在相关研究中，T5对包括摘要生成、问答、文本分类等数十种语言理解任务进行了详细比较。通过结合这些探索的见解和规模，以及引入新的“巨型干净爬取语料库”C4，T5在许多基准测试中取得了领先的表现。为支持未来在NLP迁移学习领域的研究工作，该项目开放了数据集、预训练模型和代码。

这项研究由多位学者共同撰写，包括Colin Raffel, Noam Shazeer, Adam Roberts, Katherine Lee, Sharan Narang, Michael Matena, Yanqi Zhou, Wei Li, 和 Peter J. Liu。该成果不仅提供了对迁移学习技术的深刻理解，还为语言处理技术的未来发展铺平了道路。