pythia-70m

Pythia-70m项目介绍

项目概述

Pythia-70m是EleutherAI开发的一个小型语言模型,是Pythia模型系列中的一员。Pythia系列包含了8种不同规模的模型,从70M参数到12B参数不等,每种规模都有两个版本:一个在原始Pile数据集上训练,另一个在去重后的Pile数据集上训练。Pythia-70m是其中参数量最小的模型,拥有约7000万个参数。

模型特点

Pythia-70m具有以下特点:

模型类型:基于Transformer的因果语言模型
参数量:总计70,426,624个参数,其中非嵌入层参数18,915,328个
模型结构:6层,512维度,8个注意力头
训练数据:The Pile数据集(825GiB的英文通用数据集)
训练步数:143,000步,对应约1个epoch
批次大小:2M tokens
学习率:1.0 x 10^-3
开源许可:Apache 2.0

用途与局限性

Pythia-70m的主要用途是用于大型语言模型的行为、功能和局限性研究。它提供了一个受控的环境来进行科学实验。研究人员可以利用模型训练过程中保存的154个检查点来研究模型在训练过程中的变化。

然而,Pythia-70m并不适合直接部署使用。它可能会生成有害或冒犯性的文本,需要进行风险评估。此外,该模型仅限于英语,不适用于翻译或生成其他语言的文本。

训练过程

Pythia-70m在The Pile数据集上训练了约1个epoch。训练过程中保存了多个检查点:

初始检查点step0
10个对数间隔的早期检查点step1到step512
143个均匀间隔的检查点,从step1000到step143000

这使研究人员能够详细追踪模型的训练过程。

评估结果

Pythia-70m在多个基准测试上进行了评估,包括LAMBADA、PIQA、WinoGrande等。虽然性能不及更大的模型,但考虑到其较小的规模,表现还是不错的。在Open LLM Leaderboard上,Pythia-70m的平均得分为25.28。

结语

Pythia-70m作为一个小型语言模型,为研究人员提供了一个有价值的工具来研究和理解大型语言模型的行为。虽然它在实际应用中可能受限,但在推动语言模型可解释性研究方面具有重要意义。

使用指南

研究人员可以通过Hugging Face Transformers库轻松加载和使用Pythia-70m模型。以下是一个简单的示例代码:

from transformers import GPTNeoXForCausalLM, AutoTokenizer

model = GPTNeoXForCausalLM.from_pretrained("EleutherAI/pythia-70m")
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/pythia-70m")

inputs = tokenizer("Hello, I am", return_tensors="pt")
tokens = model.generate(**inputs)
print(tokenizer.decode(tokens[0]))