mpt-7b-chat

项目介绍：MPT-7B-Chat

项目背景

MPT-7B-Chat是一个用于对话生成的聊天机器人模型。该模型通过对MPT-7B进行微调而创建，使用的数据集包括ShareGPT-Vicuna、HC3、Alpaca、HH-RLHF和Evol-Instruct。MPT-7B-Chat由MosaicML公司进行培训，采用了经过修改的仅解码器变压器架构。

模型特点

MPT-7B-Chat模型以其高效的架构设计而闻名。它使用了FlashAttention和ALiBi技术，不使用偏置项和位置嵌入。模型参数为6.7B，包含32层，每层32个头，模型维度为4096，词汇量为50432，序列长度为2048。在训练时，利用FSDP进行分片数据并行，并采用AdamW优化器。

使用方法

MPT-7B-Chat模型建议与MosaicML的llm-foundry代码库一起使用，用于训练和微调。使用者可以通过Hugging Face的transformers库来加载预训练模型，并使用相应的配置对模型进行优化，支持GPU上的快速初始化和更高效的推理过程。

import transformers
model = transformers.AutoModelForCausalLM.from_pretrained(
  'mosaicml/mpt-7b-chat',
  trust_remote_code=True
)

应用示例

MPT-7B-Chat可以用于各种文本生成任务。一个例子是生成一条推文：

from transformers import pipeline

pipe = pipeline('text-generation', model=model, tokenizer=tokenizer, device='cuda:0')

with torch.autocast('cuda', dtype=torch.bfloat16):
    print(
        pipe('Here is a recipe for vegan banana bread:\n',
            max_new_tokens=100,
            do_sample=True,
            use_cache=True))