opt-6.7b

OPT-6.7b:开放预训练的变形器语言模型

OPT-6.7b是Meta AI团队开发的一个大型语言模型,它是OPT(Open Pre-trained Transformer)系列模型中的一员。这个模型拥有67亿个参数,是一个强大的自然语言处理工具。

模型简介

OPT-6.7b是一个基于Transformer架构的解码器模型,其预训练主要使用英语文本,但也包含少量非英语数据。该模型采用因果语言建模(CLM)目标进行预训练,属于与GPT-3相同的解码器模型家族。

训练数据

OPT-6.7b的训练语料包含了多个大规模文本数据集,如BookCorpus、CC-Stories、The Pile的部分子集、Reddit数据集和CCNewsV2等。最终的训练数据包含1800亿个标记,相当于800GB的数据量。

模型用途

这个预训练模型可以用于:

文本生成任务
下游任务的提示评估
在特定任务上进行微调

使用方法

使用OPT-6.7b时,建议直接调用generate方法,并使用半精度浮点数来加速生成过程并优化GPU内存使用。以下是一个简单的使用示例:

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model = AutoModelForCausalLM.from_pretrained("facebook/opt-6.7b", torch_dtype=torch.float16).cuda()
tokenizer = AutoTokenizer.from_pretrained("facebook/opt-6.7b", use_fast=False)

prompt = "Hello, I'm am conscious and"
input_ids = tokenizer(prompt, return_tensors="pt").input_ids.cuda()
generated_ids = model.generate(input_ids)
output = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)