XGen学习资料汇总 - Salesforce开源的长序列大语言模型

XGen简介

XGen是Salesforce AI Research团队开发的开源大语言模型系列,支持8K长度的输入序列。XGen模型基于7B参数训练而成,是一个强大而灵活的基础模型。

XGen模型

主要特点

支持8K长序列输入,远超其他同等规模的开源模型
提供4K和8K两个版本的基础模型
还有专门针对指令微调的8K模型版本
采用OpenAI的Tiktoken分词器
支持自回归生成

模型下载

XGen模型在HuggingFace Hub上提供了以下版本:

XGen-7B-4K-Base - 支持4K序列长度的基础版
XGen-7B-8K-Base - 支持8K序列长度的基础版
XGen-7B-8k-Inst - 经过指令微调的8K版本(仅用于研究目的)

使用示例

以下是使用XGen模型进行自回归生成的示例代码:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Salesforce/xgen-7b-8k-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Salesforce/xgen-7b-8k-base", torch_dtype=torch.bfloat16)

inputs = tokenizer("The world is", return_tensors="pt")
sample = model.generate(**inputs, max_length=128)
print(tokenizer.decode(sample[0]))