FateZero

FateZero 项目介绍

简介

FateZero 是一个创新的零样本文本驱动的视频编辑框架，它利用预训练的扩散模型来进行编辑，不需要额外的训练。该项目由 Chenyang Qi、Xiaodong Cun、Yong Zhang、Chenyang Lei、Xintao Wang、Ying Shan 和 Qifeng Chen 等学者共同完成，并在 ICCV23 上进行了口头交流。

项目背景与动机

扩散式生成模型在基于文本的图像生成中非常成功，但由于生成过程中存在高度的随机性，在实际的视频内容编辑中应用起来仍然具有一定挑战，特别是在视频领域。为了解决这一问题，FateZero 提供了一种在真实视频上进行零样本文本编辑的方法，无需针对每个提示进行特定的训练或使用特定的遮罩。

核心技术

FateZero 使用了一些关键技术来保证编辑的一致性：

1. 中间注意力图捕获：与普通的 DDIM 反演技术不同，FateZero 在反演过程中捕获中间注意力图，保留了结构信息与运动信息。

2. 注意力融合：编辑过程中直接融合这些注意力图，以减少源视频的语义泄露。使用交叉注意特征从源提示中获取混合遮罩，以增强编辑效果。

3. 引入时空注意机制：在去噪 UNet 中进行了自注意力机制的改革，引入时空注意力以确保帧的一致性。

这些技术使 FateZero 成为第一个展示零样本文本视频风格和局部属性编辑的框架。相较于现有的方法，FateZero 在时间一致性和编辑能力方面具有显著优势。

项目进展与更新

项目自 2023 年 3 月起，已经多次更新。包括代码重构、提供演示以及实现本地混合等多项功能：

• 2023.06.10：增加大运动和多物体的示例。
• 2023.04.18：支持使用 blend_latents 选项进行本地混合。
• 2023.03.31：精简 Hugging Face 的展示页面。

使用环境

• 推荐使用 CUDA11、fp16 加速器和 A100 或 3090 GPU。
• 提供基于 Hugging Face 的在线演示。

项目演示与结果

FateZero 能够进行多种风格和属性的编辑，以下是一些演示效果：

• 风格编辑：将普通视频转换为 Ukiyo-e 风格、水彩画风格、莫奈风格等。
• 属性编辑：例如，将兔子与草莓的组合变换为白兔与花朵的组合。

视频编辑指导

FateZero 提供了关于在野外视频进行编辑的指导文档，用户可以根据自己的视频素材进行相应的编辑。

致谢与维护

该项目得益于多个开源项目的启发与支持，如 Tune-A-Video 和 prompt-to-prompt。项目仍在积极维护中，如果有任何问题或建议，可以与作者团队联系。

这是一个充满潜力和创新性的视频编辑框架，为文本驱动的视频编辑领域提供了新的可能性和方向。FateZero 为用户提供了强大的工具，使得编辑视频变得更直观、更便利。