cond-image-leakage

cond-image-leakage

改进图像到视频扩散模型中的条件图像依赖问题

该研究揭示并解决了图像到视频扩散模型中的条件图像依赖问题。研究团队提出了适用于DynamiCrafter、SVD和VideoCrafter1等多种模型的即插即用推理和训练策略。这些策略减轻了模型对条件图像的过度依赖,增强了生成视频的动态效果。项目开源的代码、模型和演示为图像到视频生成研究提供了重要参考。

图像到视频生成扩散模型条件图像泄漏DynamiCrafterVideoCrafterGithub开源项目

在图像到视频扩散模型中识别和解决条件图像泄露问题

<div align="center">

<a href='https://arxiv.org/abs/2406.15735'><img src='https://yellow-cdn.veclightyear.com/835a84d5/c5b577d8-609e-4b2e-ab76-75f779486f9e.svg'></a>   <a href='https://cond-image-leak.github.io/'><img src='https://img.shields.io/badge/项目-页面-绿色'></a>   <a href='https://zhuanlan.zhihu.com/p/705300028?utm_campaign=shareopn&utm_medium=social&utm_psn=1788953432507416577&utm_source=wechat_session'><img src='https://img.shields.io/badge/知乎-页面-蓝色'></a>   <a href='https://huggingface.co/spaces/Xiang-cd/DynamiCrafter-CIL'><img src='https://img.shields.io/badge/%F0%9F%A4%97%20DynamiCrafter%20CIL%20Hugging%20Face%20I2V-演示-蓝色'></a> 

赵敏, 朱宏洲, 项晨东, 郑凯文, 李崇轩, 朱军

</div>

🔆 概述

扩散模型在图像到视频(I2V)生成方面取得了实质性进展。然而,这些模型尚未被完全理解。在本文中,我们报告了I2V扩散模型(I2V-DMs)中一个重要但先前被忽视的问题,即条件图像泄露。I2V-DMs倾向于在较大的时间步长上过度依赖条件图像,忽视了从噪声输入预测清晰视频的关键任务,这导致生成的视频缺乏动态和生动的运动。我们进一步从推理和训练两个方面解决这一挑战,提出了相应的即插即用策略。这些策略在各种I2V-DMs上得到验证,包括DynamiCrafterSVDVideoCrafter1

概述

✅ 待办事项:

  • [2024.06.25]:发布代码、模型和项目页面。
  • [2024.08.11]:添加Animate-Anything和PIA的推理代码
  • 发布无水印和其他分辨率的模型。

⚙️ 环境设置

我们的即插即用策略可应用于各种I2V-DMs,允许直接使用其原始环境。 例如,设置DynamiCrafter:

cd examples/DynamiCrafter
conda create -n dynamicrafter python=3.8.5
conda activate dynamicrafter
pip install -r requirements.txt

设置VideoCrafter1:

cd examples/VideoCrafter
conda create -n videocrafter python=3.8.5
conda activate videocrafter
pip install -r requirements.txt

设置SVD:

cd examples/SVD
conda create -n svd python=3.9.18
conda activate svd
pip install -r requirements.txt

设置Animate-Anything:

cd examples/animate-anything
conda create -n animation python=3.10
conda activate animation
pip install -r requirements.txt

设置PIA:

cd examples/PIA
conda env create -f pia.yml
conda activate pia

☀️ 数据集

此处下载WebVid数据集,我们使用Webvid-2M子集。将.csv文件放在examples/dataset/results_2M_train.csv中,视频数据放在examples/dataset/中。我们使用原始数据,不进行任何过滤。

🧊 推理策略

我们克隆了DynamiCrafterVideoCrafter1的仓库,并自行实现了SVD。我们在它们上应用了我们的即插即用策略。

🎒 初始噪声分布

模型分辨率初始噪声
DynamiCrafter256x256初始噪声
DynamiCrafter320x512初始噪声
DynamiCrafter576x1024初始噪声
VideoCrafter256x256初始噪声
VideoCrafter320x512初始噪声
VideoCrafter576x1024初始噪声
SVD320 x 512初始噪声
SVD576 x 1024初始噪声

😄 示例结果

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>模型</td> <td>条件图像</td> <td>标准推理</td> <td>+ 我们的推理策略</td> </tr> <tr> <td> DynamiCrafter320x512 </td> <td> <img src=assets/conditionalImg/15.gif width="250"> </td> <td> <img src=assets/DC/15base.gif width="250"> </td> <td> <img src=assets/DC/15_sample0.gif width="250"> </td> </tr> <tr> <td> VideoCrafter320x512 </td> <td> <img src=assets/conditionalImg/5.gif width="250"> </td> <td> <img src=assets/VC/5base.gif width="250"> </td> <td> <img src=assets/VC/5_sample0.gif width="250"> </td> </tr> <tr> <td> SVD 576x1024 </td> <td> <img src=assets/conditionalImg/39.gif width="250"> </td> <td> <img src=assets/SVD/39base.gif width="250"> </td> <td> <img src=assets/SVD/39_sample0.gif width="250"> </td> </tr> <tr> <td> Animate-Anything </td> <td> <img src='https://yellow-cdn.veclightyear.com/835a84d5/c814f9f3-721d-4393-855a-605d0ff6153a.gif' width="250"> </td> <td> <img src='https://yellow-cdn.veclightyear.com/835a84d5/2c7e755b-6d5d-4066-aef9-a6341fbe99e0.gif' width="250"> </td> <td> <img src='https://yellow-cdn.veclightyear.com/835a84d5/d9d3cb5c-40e4-41b1-9ae2-618c0edb604c.gif' width="250"> </td> <tr> <td> PIA </td> <td> <img src='https://yellow-cdn.veclightyear.com/835a84d5/87a2cf25-0383-4619-8338-cbbb3fef5caa.gif' width="250"> </td> <td> <img src='https://yellow-cdn.veclightyear.com/835a84d5/3a04c25e-2937-4cd1-b07f-761e2ba1a295.gif' width="250"> </td> <td> <img src='https://yellow-cdn.veclightyear.com/835a84d5/ca1537d5-0e3b-43a4-9c6d-e0b6ccabfb4e.gif' width="250"> </td> </table >

DynamiCrafter

  1. 仓库下载原始DynamiCrafter检查点并将其放在examples/DynamiCrafter/ckpt/original中,或者从这里下载我们的DynamiCrafter-CIL并将其放在examples/DynamiCrafter/ckpt/finetuned中。下载上表中的初始噪声并将其放在examples/DynamiCrafter/ckpt/中。
  2. 运行以下命令:
cd examples/DynamiCrafter

# 对于原始的320x512分辨率DynamiCrafter
sh inference_512.sh

# 对于我们320x512分辨率的DynamiCrafter-CIL
sh inference_CIL_512.sh

# 对于我们576x1024分辨率的DynamiCrafter-CIL
sh inference_CIL_1024.sh

inference.sh中与我们策略相关的参数解释如下:

  • M:起始时间步M。
  • whether_analytic_init:表示是否使用解析初始化;0表示不应用,1表示应用
  • analytic_init_path:如果应用解析初始化,则为初始化噪声均值和方差的路径

注意M=1000, whether_analytic_init=0是基线。

起始时间M的效果如下:

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>条件图像</td> <td>M=1.00T</td> <td>M=0.94T</td> <td>M=0.90T</td> <td>M=0.86T</td> <td>M=0.82T</td> </tr> <tr> <td> <img src=assets/conditionalImg/sunflower.gif width="150"> </td> <td> <img src=assets/effect_of_M/1000.gif width="150"> </td> <td> <img src=assets/effect_of_M/960.gif width="150"> </td> <td> <img src=assets/effect_of_M/920.gif width="150"> </td> <td> <img src=assets/effect_of_M/880.gif width="150"> </td> <td> <img src=assets/effect_of_M/840.gif width="150"> </td> </tr> </table > 适当的M可以通过增加运动而不影响其他性能来提高性能。太小的M会由于训练-推理差距而导致视觉质量较差。

SVD

  1. 下载预训练的SVD模型并将其放在examples/SVD/ckpt/pretrained/stable-video-diffusion-img2vid中。从这里下载我们的SVD-CIL并将其放在examples/SVD/ckpt/finetuned中。下载上表中的初始噪声并将它们放在examples/SVD/ckpt/中。
  2. 运行以下命令:
cd examples/SVD

# 对于原始SVD
sh inference.sh

# 对于320x512分辨率的SVD-CIL
sh inference_CIL_512.sh
 

推理的相关参数在examples/SVD/config/inference.yaml中设置,解释如下:

  • sigma_max:起始时间M。
  • analytic_init_path:如果应用解析初始化,则为初始化噪声均值和方差的路径

VideoCrafter1

  1. 仓库下载原始VideoCrafter检查点并将其放在examples/VideoCrafter/ckpt/original中,或者从这里下载我们的VideoCrafter-CIL并将其放在examples/VideoCrafter/ckpt/finetuned中。下载上表中的初始噪声并将它们放在examples/VideoCrafter/ckpt中。
  2. 运行以下命令:
cd examples/VideoCrafter

# 对于原始的320x512分辨率VideoCrafter
sh inference_512.sh

# 对于320x512分辨率的VideoCrafter-CIL
sh inference_CIL_512.sh

inference.sh中与我们策略相关的参数解释如下:

  • M:起始时间M
  • analytic_init_path:如果应用解析初始化,则为初始化噪声均值和方差的路径

Animate-Anything

  1. 仓库下载原始Animate-Anything检查点并将其放在cond-image-leakage/examples/animate-anything/output/latent/animate_anything_512_v1.02
  2. 运行以下命令:
cd cond-image-leakage/examples/animate-anything
python inference.py --config example/config/concert.yaml

cond-image-leakage/examples/PIA/example/config/base.yaml中与我们策略相关的参数解释如下:

  • noise_scheduler_kwargs.num_train_timesteps:起始时间M

PIA

  1. 按照cond-image-leakage/examples/PIA/README.md中的说明从仓库下载原始Animate-Anything检查点并放置。
  2. 运行以下命令:
cd cond-image-leakage/examples/PIA

inference.sh中与我们策略相关的参数解释如下:

  • M:起始时间M

🔥 训练策略

与推理策略类似,我们基于DynamiCrafterVideoCrafter1SVD仓库对基线进行微调。

😄 示例结果

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>模型</td> <td>条件图像</td> <td>微调基线</td> <td>+ 我们的训练策略</td> </tr> <tr> <td> DynamiCrafter </td> <td> <img src=assets/conditionalImg/6.gif width="250"> </td> <td> <img src=assets/DC/6base.gif width="250"> </td> <td> <img src=assets/DC/6_sample0.gif width="250"> </td> </tr> <tr> <td> VideoCrafter </td> <td> <img src=assets/conditionalImg/30.gif width="250"> </td> <td> <img src=assets/VC/30base.gif width="250"> </td> <td> <img src=assets/VC/30_sample0.gif width="250"> </td> </tr> <tr> <td> SVD </td> <td> <img src=assets/conditionalImg/41.gif width="250"> </td> <td> <img src=assets/SVD/41base.gif width="250"> </td> <td> <img src=assets/SVD/41_sample0.gif width="250"> </td> </tr> </table >

DynamiCrafter

  1. 仓库下载DynamiCrafter检查点,并将它们放在examples/DynamiCrafter/ckpt/original中。
  2. 运行以下命令:
cd examples/DynamiCrafter
sh train.sh

train.sh中与我们策略相关的参数解释如下:

  • beta_m:最大噪声水平。
  • a:分布中心的指数:$\mu(t)=2t^a-1$,其中$a > 0$。

beta_m的效果如下:

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>条件图像</td> <td>beta_m=25</td> <td>beta_m=100</td> <td>beta_m=700</td> </tr> <tr> <td> <img src=assets/conditionalImg/doggy.jpg width="150"> </td> <td> <img src=assets/effect_of_betam/25.gif width="150"> </td> <td> <img src=assets/effect_of_betam/100.gif width="150"> </td> <td> <img src=assets/effect_of_betam/700.gif width="150"> </td> </tr> </table > 较高的beta_m对应更动态的运动和较低的时间一致性和图像对齐。

a的效果如下:

<table class="center"> <tr style="font-weight: bolder;text-align:center;"> <td>条件图像</td> <td>a = 5.0</td> <td>a = 1.0</td> <td>a = 0.1</td> </tr> <tr> <td> <img src=assets/conditionalImg/doggy.jpg width="150"> </td> <td> <img src=assets/effect_of_betam/100.gif width="150"> </td> <td> <img src=assets/effect_of_a/1.gif width="150"> </td> <td> <img src=assets/effect_of_a/01.gif width="150"> </td> </tr> </table >

较低的a对应更动态的运动和较低的时间一致性和图像对齐。

SVD

  1. 仓库下载SVD检查点,并将它们放在examples/SVD/ckpt/pretrained/stable-video-diffusion-img2vid中;
  2. 运行以下命令:
cd examples/SVD
sh train.sh

examples/SVD/config/train.yaml中与我们策略相关的参数解释如下:

  • beta_m:最大噪声水平。较高的beta_m对应更动态的运动和较低的时间一致性和图像对齐。
  • a:分布中心的指数:$\mu(t)=2t^a-1$,其中$a > 0$。较低的$a$对应更动态的运动和较低的时间一致性和图像对齐。

请注意,原始SVD首先在条件图像上添加噪声,然后将其输入VAE。这里我们首先将条件图像输入VAE,然后在条件潜在表示上添加噪声。

VideoCrafter1

  1. 仓库下载VideoCrafter检查点,并将它们放在examples/VideoCrafter/original/ckpt/中。
  2. 运行以下命令:
cd examples/VideoCrafter
sh train.sh

train.sh中与我们策略相关的参数解释如下:

  • beta_m:最大噪声水平。较高的beta_m对应更动态的运动和较低的时间一致性和图像对齐。
  • a:分布中心的指数:$\mu(t)=2t^a-1$,其中$a > 0$。较低的$a$对应更动态的运动和较低的时间一致性和图像对齐。

🎒 检查点

为了公平比较,朴素微调和我们的方法在相同的设置下进行训练。将来,我们会发布没有水印的模型。

模型朴素微调我们在Webvid上的方法无水印
DynamiCrafter320x512320x512320x512 576x1024
SVD320x512320x512
VideoCrafter1320x512320x512

😄 引用

如果您发现这个仓库有帮助,请按以下方式引用:

@article{zhao2024identifying, title={Identifying and Solving Conditional Image Leakage in Image-to-Video Diffusion Model}, author={Zhao, Min and Zhu, Hongzhou and Xiang, Chendong and Zheng, Kaiwen and Li, Chongxuan and Zhu, Jun}, journal={arXiv preprint arXiv:2406.15735}, year={2024} }

❤️ 致谢

此实现基于以下工作:

编辑推荐精选

蛙蛙写作

蛙蛙写作

AI小说写作助手,一站式润色、改写、扩写

蛙蛙写作—国内先进的AI写作平台,涵盖小说、学术、社交媒体等多场景。提供续写、改写、润色等功能,助力创作者高效优化写作流程。界面简洁,功能全面,适合各类写作者提升内容品质和工作效率。

AI辅助写作AI工具蛙蛙写作AI写作工具学术助手办公助手营销助手AI助手
Trae

Trae

字节跳动发布的AI编程神器IDE

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

AI工具TraeAI IDE协作生产力转型热门
问小白

问小白

全能AI智能助手,随时解答生活与工作的多样问题

问小白,由元石科技研发的AI智能助手,快速准确地解答各种生活和工作问题,包括但不限于搜索、规划和社交互动,帮助用户在日常生活中提高效率,轻松管理个人事务。

热门AI助手AI对话AI工具聊天机器人
Transly

Transly

实时语音翻译/同声传译工具

Transly是一个多场景的AI大语言模型驱动的同声传译、专业翻译助手,它拥有超精准的音频识别翻译能力,几乎零延迟的使用体验和支持多国语言可以让你带它走遍全球,无论你是留学生、商务人士、韩剧美剧爱好者,还是出国游玩、多国会议、跨国追星等等,都可以满足你所有需要同传的场景需求,线上线下通用,扫除语言障碍,让全世界的语言交流不再有国界。

讯飞智文

讯飞智文

一键生成PPT和Word,让学习生活更轻松

讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。

AI办公办公工具AI工具讯飞智文AI在线生成PPTAI撰写助手多语种文档生成AI自动配图热门
讯飞星火

讯飞星火

深度推理能力全新升级,全面对标OpenAI o1

科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。

热门AI开发模型训练AI工具讯飞星火大模型智能问答内容创作多语种支持智慧生活
Spark-TTS

Spark-TTS

一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型

Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。

咔片PPT

咔片PPT

AI助力,做PPT更简单!

咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。

讯飞绘文

讯飞绘文

选题、配图、成文,一站式创作,让内容运营更高效

讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。

热门AI辅助写作AI工具讯飞绘文内容运营AI创作个性化文章多平台分发AI助手
材料星

材料星

专业的AI公文写作平台,公文写作神器

AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。

下拉加载更多