TinyLlama-1.1B-Chat-v1.0-llamafile

项目介绍：TinyLlama-1.1B-Chat-v1.0

项目背景

TinyLlama-1.1B-Chat-v1.0 是由 TinyLlama 团队推出的一款全新聊天模型。该项目的核心目标是通过预训练，一个拥有 11 亿参数的 Llama 模型能够在 3 万亿个 tokens 上进行高效学习。借助优化技术，该模型在短短 90 天内就可以在 16 台 A100-40G GPU 上完成训练。训练于 2023 年 9 月 1 日开始。

模型特点

1. 架构和适应性
   TinyLlama-1.1B-Chat-v1.0 采用了与 Llama 2 相同的架构和标记器。这种设计让模型能够在众多基于 Llama 的开源项目中灵活运用。1.1B 的参数数量使其具备小巧精悍的优点，非常适合那些对计算和内存占用有严格要求的应用场景。

2. 训练优化
   模型的微调借鉴了 HuggingFace 的名为 Zephyr 的训练方法。其初始阶段在 UltraChat 数据集上进行微调，该数据集包括 ChatGPT 生成的丰富对话内容。在此基础上，模型又借助 TRL 的 DPOTrainer 工具，在 UltraFeedback 数据集上进行了进一步的对齐优化。

使用方法

要使用 TinyLlama-1.1B-Chat-v1.0，用户需要安装版本不低于 4.34 的 transformers 库。以下是一个简单的代码示例，展示如何使用该模型生成文本：

import torch
from transformers import pipeline

pipe = pipeline("text-generation", model="TinyLlama/TinyLlama-1.1B-Chat-v1.0", torch_dtype=torch.bfloat16, device_map="auto")

messages = [
    {
        "role": "system",
        "content": "You are a friendly chatbot who always responds in the style of a pirate",
    },
    {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
]
prompt = pipe.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
outputs = pipe(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

数据集和开源软件

该模型的训练使用了多个数据集，包括 cerebras 的 SlimPajama-627B、bigcode 的 starcoderdata 以及 OpenAssistant 的 oasst_top1_2023-08-25。用户可以通过 llamafile 或 llama.cpp 软件来运行与模型关联的 GGUF 权重数据文件。

结论

TinyLlama-1.1B-Chat-v1.0 是一个强大的聊天模型，借助其精巧的设计和高效的训练方法，致力于满足多种应用场景的需求。对于希望在开源项目中集成优质聊天功能的开发者来说，这款模型提供了一个理想的选择。有兴趣的用户可以在 TinyLlama 的 GitHub 页面上获取更多信息。