text2cinemagraph

项目介绍：Text2Cinemagraph

Text2Cinemagraph项目致力于从文本描述生成优雅的动图效果，称为电影动画画面（Cinemagraph）。这项技术的核心挑战在于对于含有想象元素和艺术风格的复杂图像，进行语义和运动的解读。

项目背景

Text2Cinemagraph是一种全自动化的方法，用于将精确的文本描述转化为动态画面。这项研究所面对的挑战在于，当描述中包含虚构元素或艺术风格时，要对图像的语义和运动进行准确的理解并生成合适的动画效果。

方法概述

Text2Cinemagraph利用现代图像合成技术——Stable Diffusion，从单一文本提示生成一对图像样本：一个艺术风格的图像与一个与其像素对齐的自然样相。艺术图像表现出文本提示中的风格和外观，而自然样相则简化了布局和运动分析的过程。通过使用现有的自然图像和视频数据集，该方法能够准确分割自然图像，并根据语义信息预测合理的运动。然后，这个预测的运动被转移到艺术图像上，以创建最终的动图。

使用说明

环境设置

首先，用户需要设置项目依赖环境。通过git下载代码库并使用conda配置Python环境。此外，还需要安装PyTorch、CUDA工具包以及特定的软件库。

git clone https://github.com/text2cinemagraph/artistic-cinemagraph.git
cd text2cinemagraph
conda create -n t2c python=3.9
conda activate t2c

下载预训练模型

用户需要下载包括光流预测、方向引导光流预测和视频生成的预训练模型。具体可通过gdown和wget工具下载相关文件。

使用流程

为生成目标效果，用户需要在命令行中执行多个阶段的指令，具体的指令根据用户想要的生成结果而变化，如单一艺术域下的生成结果或是文字引导方向的生成结果等。

产生动图过程

生成动图包括多个步骤：从生成艺术图像、提取对应自然图像、生成ODISE掩码、生成自注意力掩码、预测光流，直到生成最终的电影动画画面。用户可以逐步运行每个组件，进行结果的优化调整。

数据准备与训练

为了增强生成性能和可靠性，Text2Cinemagraph项目提供了光流和视频的训练数据集，并对真实域数据进行了测试。用户可以通过训练光流预测模型和视频生成模型，来提升动图生成的质量。

评估

为了验证生成图像的效果，项目提供了一套FVD（Frechet Video Distance）评估方法，用于衡量生成与实际视频之间的差异。这有助于用户理解和改进生成性能。

感谢与引用

Text2Cinemagraph项目代码基于多个开源项目构建，非常感谢这些代码库的开发者。此外，还感谢众多合作方和研究人员为项目贡献的宝贵意见。该项目得到了Snap Inc.的部分支持，并在Snap Inc.实习期间完工。

Text2Cinemagraph为图像动画化带来了全新的可能性，它利用文本描述与现代图像生成技术的结合，使得在艺术创作中可以更自由地表达丰富的想象和动感效果。这一切都在简洁的使用流程和强大的模型支持下，实现了文本到动图的美丽跃迁。