TaleCrafter

<div align="center"> <h2>TaleCrafter：多角色交互式故事可视化</h2>

🎏 请查看改进后的开源项目OMG，它支持使用LoRAs和InstantID进行多概念个性化。

<b>SIGGRAPH Asia 2023</b>

龚源、庞友欣、寸晓东、夏梦涵、何颖清、陈浩鑫、王龙跃、<br>张勇*、王鑫涛、单瀛和杨巍峻*

(*通讯作者)

🎏 摘要

<b>简而言之：<font color="red">TaleCrafter</font>是一个支持多角色的交互式故事可视化工具。</b>

准确的故事可视化需要几个必要元素，如跨帧的身份一致性、普通文本与视觉内容的对齐以及图像中物体的合理布局。大多数以前的工作都致力于通过在同一风格和相同角色的一组视频上拟合文本到图像（T2I）模型来满足这些要求，例如FlintstonesSV数据集。然而，学习到的T2I模型通常难以适应新的角色、场景和风格，而且往往缺乏修改合成图像布局的灵活性。本文提出了一个通用的交互式故事可视化系统，能够处理多个新颖角色，并支持布局和局部结构的编辑。它通过利用在海量语料库上训练的大型语言和T2I模型的先验知识开发而成。该系统包括四个相互关联的组件：故事到提示生成（S2P）、文本到布局生成（T2L）、可控文本到图像生成（C-T2I）和图像到视频动画（I2V）。首先，S2P模块将简洁的故事信息转换为后续阶段所需的详细提示。接下来，T2L根据提示生成多样化且合理的布局，让用户能够根据自己的喜好调整和完善布局。核心组件C-T2I通过布局、草图和角色特定标识符的引导，能够创建保持一致性和细节的可视化图像。最后，I2V通过为生成的图像添加动画来丰富可视化过程。进行了广泛的实验和用户研究，验证了所提出系统的有效性和交互式编辑的灵活性。

⚔️ 概览

我们交互式故事可视化系统的流程。该系统包括四个组件。(a) 故事到提示（S2P）：利用大型语言模型来弥合文学和艺术描述与输入T2I模型的描述之间的差距。它理解给定故事中的内容，并按照给定的指令将其转换为适合T2I模型的提示。(b) 文本到布局（T2L）：为提示中的主要主题生成合理的布局。(c) 可控文本到图像（C-T2I）：给定各种条件，如提示、布局、草图和每个角色的几张图像，生成角色一致的图像。它支持通过草图对角色、布局和局部结构进行交互式编辑。(d) 图像到视频（I2V）：从图像中提取深度，并通过设置相机路径进行新视角合成，将其转换为视频。

🌰 更多示例

（视频链接省略）

引用

@misc{gong2023talecrafter,
      title={TaleCrafter: Interactive Story Visualization with Multiple Characters}, 
      author={Yuan Gong and Youxin Pang and Xiaodong Cun and Menghan Xia and Yingqing He and Haoxin Chen and Longyue Wang and Yong Zhang and Xintao Wang and Ying Shan and Yujiu Yang},
      year={2023},
      eprint={2305.18247},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}