TinyLlama-1.1B-intermediate-step-955k-token-2T

TinyLlama-1.1B 项目介绍

TinyLlama-1.1B 是一个旨在预训练规模达 1.1B 的 Llama 模型的项目，该模型将在 3 万亿个标记上进行训练。通过适当的优化，该项目有望在仅需 90 天内实现目标，并且使用 16 台 A100-40G GPU 进行训练。项目已于 2023 年 9 月 1 日启动。

项目背景

TinyLlama 项目选择了与 Llama 2 相同的架构和分词器，这意味着 TinyLlama 可以无缝集成到许多以 Llama 为基础的开源项目中。1.1B 参数的规模使得该模型显得精简，因此在需要严格控制计算和内存占用的应用中，TinyLlama 将是一个理想的选择。

当前模型状态

TinyLlama 项目已经实现了一个中间检查点，其包括 995K 步和 2003B 的标记数量。

发布计划

项目会在特定日期推出中间检查点，同时发布一些基准模型供对比。以下是详细发布计划：

如何使用

要使用该模型，需确保 transformers 版本不低于 4.31。详细信息请访问TinyLlama 项目页。以下是一个如何使用该模型生成文本的示例代码：

from transformers import AutoTokenizer
import transformers
import torch

model = "TinyLlama/TinyLlama-1.1B-intermediate-step-955k-token-2T"
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

sequences = pipeline(
    'The TinyLlama project aims to pretrain a 1.1B Llama model on 3 trillion tokens. With some proper optimization, we can achieve this within a span of "just" 90 days using 16 A100-40G GPUs 🚀🚀. The training has started on 2023-09-01.',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    repetition_penalty=1.5,
    eos_token_id=tokenizer.eos_token_id,
    max_length=500,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

以上代码展示了如何通过该模型进行文本生成任务，更多信息请参考 GitHub 页面的说明。