TinyMistral-248M

TinyMistral-248M 项目介绍

TinyMistral-248M 是一个预训练语言模型，它基于原始的 Mistral 7B 模型进行规模缩减，只有大约 2.48 亿个参数。这个项目旨在展示无需大规模的训练数据集也能成功预训练语言模型的可能性。

模型训练

这个模型基于约 7,488,000 条训练样本进行训练，不过主要目的是为了后续在特定任务上进行进一步的微调，而非直接使用。模型的上下文长度为大约 32,768 个标记。

值得注意的是，由于在存储模型权重时出现了一些问题，模型的安全序列化功能已被移除。

数据集和训练

TinyMistral-248M 使用的主要数据集包括 Skylion007/openwebtext 和 JeanKaddour/minipile。这些数据集为模型提供了丰富的文本素材，以进行基础的语言能力训练。

评估和表现

在 InstructMix 数据集上的评估中，该模型取得了平均困惑度（perplexity）得分为 6.3 的成绩。这表明该模型在理解和生成自然语言时具有一定的能力。不过，模型在不同的数据集上的表现可能会有所差异，开发者计划未来针对不同的数据集增加更多的训练轮次。

详细评估结果如下：

指标	数值
平均值	24.18
ARC (25-shot)	20.82
HellaSwag (10-shot)	26.98
MMLU (5-shot)	23.11
TruthfulQA (0-shot)	46.89
Winogrande (5-shot)	50.75
GSM8K (5-shot)	0.0
DROP (3-shot)	0.74

通过上表，我们可以看出模型在 TruthfulQA 和 Winogrande 数据集上表现最为突出，而在 GSM8K 数据集上的成绩尚有提升的空间。

设计理念

TinyMistral-248M 项目的核心目标是证明不需要数万亿规模的数据集就能成功预训练出功能强大的语言模型。为了证明这一点，该模型甚至是在单个 Titan V GPU 上完成预训练的，这反映了模型对资源的依赖较低。

结语

总的来说，TinyMistral-248M 展示了在资源相对有限的条件下构建有效语言模型的潜力，为日后的研究和应用提供了新的思路和可能性。未来的版本可能会在不同的数据集上进行更深入的微调，从而进一步提升其语言理解和生成能力。