pythia-2.8b-deduped

项目简介：Pythia-2.8B-deduped

项目背景

Pythia-2.8B-deduped 是一个由 EleutherAI 开发的语言模型，隶属于 Pythia 模型系列。这个系列主要用于支持大规模语言模型的可解释性研究。Pythia-2.8B-deduped 是一款基于变压器架构的模型，专注于研究模型在同数据集顺序下的行为差异。

主要特点

模型规模

Pythia-2.8B-deduped 属于 Pythia 模型套件中的一部分，该套件涵盖八种不同规模的模型，包括 70M, 160M, 410M, 1B, 1.4B, 2.8B, 6.9B 和 12B。每个规模有两个版本：一个在标准的数据集（The Pile）上训练，另一个在全局去重后的 The Pile 上训练。

数据集与训练

Pythia-2.8B-deduped 在去重后的 The Pile 数据集上进行了训练。The Pile 是一个包含丰富多样来源的英文通用数据集，旨在为大语言模型的训练提供数据支持。在 Pythia 系列模型中，所有模型使用相同的数据和训练顺序，每个模型在训练过程中共看到约 2998 亿个标记。

性能与适用性

虽然 Pythia 系列模型的设计初衷并不是追求下游任务表现，但它在性能上与类似尺寸的模型（如 OPT 和 GPT-Neo）匹敌甚至超越。Pythia-2.8B-deduped 主要用于研究大语言模型的行为和功能，是进行科学实验的理想工具。用户可以根据 Apache 2.0 许可协议，对模型进行微调和适应以进行特定应用。