SEED-Story

我们推出了SEED-Story，这是一个基于SEED-X的多模态大语言模型，能够生成多模态长篇故事，包含丰富连贯的叙事文本和角色及风格一致的图像。 我们还发布了StoryStream，这是一个专门为训练和评估多模态故事生成而设计的大规模数据集。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/f766a1a2-7133-4add-9d9c-c7f34448ae22.jpg" width="800" alt="Teaser image">

待办事项

• 发布StoryStream数据集。
• 发布推理代码和模型检查点。
• 发布指令微调的训练代码。

简介

SEED-Story是一个由多模态大语言模型驱动的系统，能够基于用户提供的图像和文本作为故事开头，生成多模态长篇故事。生成的故事包含丰富连贯的叙事文本，以及角色和风格一致的图像。尽管我们在训练时最多使用10个序列，但生成的故事可以延伸至25个多模态序列。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/98f8b47d-7560-467e-bbbd-d4c206b2705d.jpg" width="800" alt="Teaser image">

给定相同的初始图像但不同的开场文本，SEED-Story可以生成不同的多模态故事。上面的分支以提及"戴黄帽子的男人"的文本开始，导致生成的图像包含该角色。下面的分支开始时没有提到这个男人，结果生成的故事与第一个故事不同，不包括他。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/947c2c24-f5ae-41ab-a5e0-c112a8a12671.jpg" width="800" alt="Teaser image">

方法

在第一阶段，我们预训练了一个基于SD-XL的解码器，通过输入预训练ViT的特征来重建图像。

在第二阶段，我们采样一个随机长度的交错图像-文本序列，通过执行下一个词预测和可学习查询的输出隐藏状态与目标图像ViT特征之间的图像特征回归来训练多模态大语言模型。

在第三阶段，将多模态大语言模型回归得到的图像特征输入解码器，以微调SD-XL，增强生成图像中角色和风格的一致性。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/1db58464-364c-44ce-8c15-2cbcc933396f.jpg" width="800" alt="Pipeline image">

视频演示

<a href="https://youtu.be/_t87U1tLiyQ"><img src="https://yellow-cdn.veclightyear.com/835a84d5/fbfd3d20-e229-472e-b231-de13d21a118b.jpg" width="300" height="300" alt="Thumbnail"></a>

这是SEED-Story的视频演示。点击可跳转到YouTube！在这个演示中，我们使用图像到视频模型来为生成的图像添加动画，并使用AI语音来叙述配套的故事文本。我们由衷感谢Meixi Chen制作了这个演示。

使用方法

依赖

• Python >= 3.8（推荐使用Anaconda）
• PyTorch >=2.0.1（推荐使用torch==2.1.2+cu121）
• NVIDIA GPU + CUDA

安装

克隆仓库并安装依赖包

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

数据准备

我们发布了StoryStream数据集，用于训练和测试多模态故事生成。从StoryStream下载图像和故事文本文件。

StoryStream数据集包含3个子集：Curious George、Rabbids Invasion和The Land Before Time。我们以George子集为例。

jsonl文件包含所有数据。每行包含一个由30张图像和相应故事文本组成的故事。"image"组件是30张图像路径的列表。"captions"组件是30个相应故事文本的列表。

为了提高训练效率，您可以像我们一样将故事分成长度为10的块。分块脚本在./StoryStream/chunk_data.py中。

模型权重

我们发布了预训练的编码器、预训练的解码器、预训练的基础模型SEED-X-pretrained、 StoryStream指令微调的多模态大语言模型SEED-Story-George和StoryStream微调的解码器Detokenizer-George，它们都在SEED-Story Hugging Face中。

请下载检查点并将它们保存在./pretrained文件夹下。

您还需要下载stable-diffusion-xl-base-1.0、Llama-2-7b-hf和Qwen-VL-Chat，并将它们保存在./pretrained文件夹下。请使用以下脚本提取Qwen-VL-Chat中视觉编码器的权重。

[object Object]

推理

使用SEED-Story进行推理

[object Object],[object Object],[object Object],[object Object]

评估

我们使用GPT4 API评估多模态生成结果。脚本位于./src/eval文件夹下。我们通过给定验证集的开头来评估生成结果。评估从3个方面进行：图像风格一致性、故事吸引力和文本-图像一致性。

	风格	吸引力	一致性
GPT4评估	8.61	6.27	8.24
比较评估结果如下所示。

<img src="https://yellow-cdn.veclightyear.com/835a84d5/86024796-1e1c-425e-9379-948d585921db.jpg" width="800" alt="流程图">

指令微调

阶段1：视觉分词与反分词

视觉分词与反分词请参考 SEED-X。

阶段2：指令微调

1. 准备预训练模型（参见模型权重）。
2. 准备指令微调数据。例如，使用"build_long_story_datapipe"数据加载器进行StoryStream时，每个文件夹存储多个jsonl文件，每个jsonl文件最多包含1万条内容，内容示例如下：

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

3. 运行指令微调脚本。

[object Object],[object Object]

阶段3：反分词器适应

1. 使用以下脚本获取"pytorch_model.bin"。

[object Object],[object Object],[object Object],[object Object]

2. 在"configs/clm_models/agent_7b_seed_story.yaml"中将"pretrained_model_path"更改为新的检查点。例如，

[object Object]

3. 运行反分词器适应脚本。

[object Object],[object Object]

引用

如果您觉得这项工作有帮助，请考虑引用：

[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

许可证

SEED-Story 在 Apache 许可证 2.0 版下授权，除了 License 中列出的第三方组件。