pythia-160m

Pythia-160M项目介绍

项目概述

Pythia-160M是EleutherAI开发的Pythia模型系列中的一员。Pythia模型系列是为促进可解释性研究而设计的语言模型集合。该系列包含8种不同规模的模型,从70M到12B不等,每种规模都有两个版本:一个在原始Pile数据集上训练,另一个在去重后的Pile数据集上训练。Pythia-160M是其中参数量为1.62亿的中小型模型。

模型细节

Pythia-160M是一个基于Transformer的英语语言模型,具有以下特点:

• 总参数量:1.62亿
• 非嵌入层参数量:8500万
• 层数:12层
• 模型维度:768
• 注意力头数:12个
• 批量大小:2M tokens
• 学习率:6.0 x 10^-4

该模型使用GPT-NeoX库实现,采用Apache 2.0许可证开源。

训练数据与过程

Pythia-160M在未经去重的Pile数据集上训练。Pile是一个825GiB的英语通用数据集,包含学术写作、互联网文本、散文、对话等多种来源的数据。

训练过程中,模型共看到约3000亿个词元,相当于Pile数据集的1个epoch。训练分为143000步,每2097152000个词元保存一个检查点。此外还提供了初始和早期的密集检查点。

用途与局限性

Pythia-160M主要用于研究大型语言模型的行为、功能和局限性。它可以作为进行科学实验的受控环境。该模型也可以进一步微调和适应部署,但需要遵守Apache 2.0许可。

然而,Pythia-160M并不适合直接部署为产品或面向人类的交互系统。它可能会生成有害或冒犯性的文本,使用时需要进行风险评估。该模型仅支持英语,不适合翻译或生成其他语言的文本。

此外,Pythia-160M没有经过下游任务的微调,无法像ChatGPT那样响应人类指令。用户不应依赖它来生成事实准确的输出,建议由人工审核模型生成的内容。

评估结果

Pythia-160M在多个基准测试中进行了评估,如LAMBADA、PIQA、WinoGrande等。评估结果显示,它的性能与同等规模的OPT和GPT-Neo模型相当或更优。详细的评估结果可在项目的GitHub仓库中查看。

总的来说,Pythia-160M是一个灵活的中小型语言模型,为研究人员提供了一个有价值的工具,用于探索和理解大型语言模型的内部机制和行为。