TinyStories-33M

项目介绍：TinyStories-33M

项目背景

TinyStories-33M项目构建在一种称为TinyStories的数据集上，并基于GPT-Neo架构进行训练。该项目的目标是开发出能够生成简短故事的语言模型。这一模型的成果在arXiv上发布，用户可以通过链接这里查阅详细信息。

模型架构

TinyStories-33M使用的是GPT-Neo的架构。GPT-Neo是一种基于Transformer的生成模型，被广泛应用于自然语言处理任务。TinyStories-33M是经过特殊训练，使得这一模型能有效地生成简短且有趣的故事内容，满足特定的用户需求。

训练过程和超参数

在训练这个模型时，研究团队使用了以下超参数：

学习率（lr）：5e-4
学习率调度（lr_schedule）：常数
权重衰减（wd）：0.1
Adam优化器参数：Adam_beta1为0.9，Adam_beta2为0.95
语境长度（context_length）：512
批处理大小（batch_size）：80
梯度累积步数：16

这些参数在训练过程中起到了重要作用，确保模型能够在处理不同任务时表现出良好的效果。

实例使用

用户可以通过Python使用TinyStories-33M模型进行文本生成。以下是一个简单的应用示例：

from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

# 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained('roneneldan/TinyStories-33M')
tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-neo-125M")

# 输入提示文本
prompt = "Once upon a time there was"
input_ids = tokenizer.encode(prompt, return_tensors="pt")

# 生成文本
output = model.generate(input_ids, max_length=1000, num_beams=1)

# 解码生成文本
output_text = tokenizer.decode(output[0], skip_special_tokens=True)

# 输出生成的文本
print(output_text)