XGen学习资料汇总 - Salesforce开源的长序列大语言模型

XGen简介

XGen是Salesforce AI Research团队开发的开源大语言模型系列,支持8K长度的输入序列。XGen模型基于7B参数训练而成,是一个强大而灵活的基础模型。

主要特点

• 支持8K长序列输入,远超其他同等规模的开源模型
• 提供4K和8K两个版本的基础模型
• 还有专门针对指令微调的8K模型版本
• 采用OpenAI的Tiktoken分词器
• 支持自回归生成

模型下载

XGen模型在HuggingFace Hub上提供了以下版本:

• XGen-7B-4K-Base - 支持4K序列长度的基础版
• XGen-7B-8K-Base - 支持8K序列长度的基础版
• XGen-7B-8k-Inst - 经过指令微调的8K版本(仅用于研究目的)

使用示例

以下是使用XGen模型进行自回归生成的示例代码:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Salesforce/xgen-7b-8k-base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("Salesforce/xgen-7b-8k-base", torch_dtype=torch.bfloat16)

inputs = tokenizer("The world is", return_tensors="pt")
sample = model.generate(**inputs, max_length=128)
print(tokenizer.decode(sample[0]))

技术细节

XGen的开发过程面临了多项技术挑战:

1. 大规模数据收集与清洗
2. 使用Google TPU进行超大规模模型训练
3. 集成FlashAttention和Sliding Window Attention等技术提高训练效率
4. 针对未预期的用户需求进行模型微调

XGen的训练分为预训练、微调和评估三个阶段,采用了监督微调和人类反馈强化学习等技术。

相关资源

• XGen官方论文
• XGen GitHub仓库
• Salesforce AI Research博客

未来展望

XGen团队正在开发更大规模的模型,并计划推出XGen Mobile等轻量级版本。未来XGen还将在知识蒸馏、领域适配等方面持续创新。

总的来说,XGen作为一个开源的长序列大语言模型,为NLP研究和应用提供了强大的基础设施。相信随着社区的参与,XGen将在更多场景中发挥重要作用。