DiffSynth-Studio：释放扩散模型的魔力

DiffSynth-Studio简介

DiffSynth-Studio是一个强大的扩散模型引擎，旨在释放扩散模型的潜力，特别是在视频合成领域。该项目重构了包括文本编码器、UNet和VAE在内的多种架构，在保持与开源社区模型兼容性的同时，显著提升了计算性能。DiffSynth-Studio提供了许多有趣的功能，让用户能够充分体验扩散模型的魔力。

支持的模型

DiffSynth-Studio目前支持多种先进的模型，包括：

• CogVideo
• FLUX
• ExVideo
• Kolors
• Stable Diffusion 3
• Stable Video Diffusion
• Hunyuan-DiT
• RIFE
• ESRGAN
• Ip-Adapter
• AnimateDiff
• ControlNet
• Stable Diffusion XL
• Stable Diffusion

这些模型涵盖了图像生成、视频合成、超分辨率等多个领域，为用户提供了丰富的创作可能性。

最新进展

DiffSynth-Studio团队一直在不断推进项目的发展，以下是一些重要的里程碑和新功能：

CogVideoX-5B支持

2024年8月22日，DiffSynth-Studio正式支持了CogVideoX-5B模型。这个由智谱AI发布的文本到视频模型在DiffSynth-Studio中得到了改进，支持以下功能：

• 文本到视频生成
• 视频编辑
• 自动上采样
• 视频帧插值

这些功能大大增强了用户在视频创作方面的能力，使得从文本描述生成高质量视频变得更加简单和灵活。

AI辅助画笔工具

同样在2024年8月22日，DiffSynth-Studio引入了一个有趣的画笔工具，支持所有文本到图像模型。用户现在可以借助AI的力量，使用这个画笔工具创作出令人惊叹的图像。这个功能可以在DiffSynth-Studio的WebUI中使用，为创作者提供了一个直观且强大的界面。

FLUX模型支持

2024年8月21日，FLUX模型被整合到DiffSynth-Studio中。用户可以启用CFG（Classifier-Free Guidance）和高分辨率修复功能来提升视觉质量。此外，DiffSynth-Studio团队还计划在不久的将来支持LoRA、ControlNet等其他模型，进一步扩展FLUX的功能。

ExVideo长视频生成技术

2024年6月21日，DiffSynth-Studio团队提出了ExVideo，这是一种旨在增强视频生成模型能力的后调优技术。通过ExVideo，团队成功将Stable Video Diffusion模型扩展到可以生成长达128帧的视频。这一突破性的进展为长视频的AI生成开辟了新的可能性。

ExVideo的相关资源包括：

• 项目页面
• 源代码
• 模型下载
• 技术报告
• 在线演示

Diffutoon卡通渲染技术

2024年1月29日，DiffSynth-Studio团队提出了Diffutoon，这是一种出色的卡通渲染解决方案。Diffutoon能够将真实视频渲染成扁平化的卡通风格，并支持视频编辑功能。这一技术为创作者提供了新的艺术表现形式，使得视频风格化变得更加简单和有趣。

FastBlend视频去闪烁算法

2023年11月15日，团队提出了FastBlend，这是一种强大的视频去闪烁算法。FastBlend不仅可以有效去除视频中的闪烁现象，还支持视频插值和图像驱动的视频渲染等功能。这一算法大大提高了AI生成视频的质量和稳定性。

安装和使用

安装

DiffSynth-Studio提供了两种安装方式：

1. 从源代码安装（推荐）：

git clone https://github.com/modelscope/DiffSynth-Studio.git
cd DiffSynth-Studio
pip install -e .

2. 从PyPI安装：

pip install DiffSynth

使用方法

下载模型

在使用DiffSynth-Studio之前，需要先下载预设模型。可以使用以下代码下载模型：

from diffsynth import download_models

download_models(["FLUX.1-dev", "Kolors"])

用户也可以下载自己的模型：

from diffsynth.models.downloader import download_from_huggingface, download_from_modelscope

# 从ModelScope下载（推荐）
download_from_modelscope("Kwai-Kolors/Kolors", "vae/diffusion_pytorch_model.fp16.bin", "models/kolors/Kolors/vae")

# 从Hugging Face下载
download_from_huggingface("Kwai-Kolors/Kolors", "vae/diffusion_pytorch_model.fp16.safetensors", "models/kolors/Kolors/vae")

视频合成

DiffSynth-Studio在视频合成方面提供了多种强大的功能：

1. 使用CogVideoX-5B进行文本到视频生成
2. 长视频合成（使用ExVideo技术生成128帧的视频）
3. 卡通渲染（使用Diffutoon技术）
4. 视频风格化（无需视频模型）

图像合成

DiffSynth-Studio能够生成高分辨率图像，突破了扩散模型的限制。以下是使用不同模型生成的1024x1024分辨率图像示例：

FLUX模型生成的图像

Stable Diffusion 3模型生成的图像

WebUI使用

DiffSynth-Studio提供了一个直观的WebUI界面，让用户能够通过AI辅助的画笔工具创作令人惊叹的图像。在启动WebUI之前，请确保已将模型下载到./models文件夹中。

DiffSynth-Studio提供了两个版本的WebUI：

1. Gradio版本：

python apps/gradio/DiffSynth_Studio.py

2. Streamlit版本：

首先安装必要的依赖：

pip install streamlit streamlit-drawable-canvas

然后运行WebUI：

python -m streamlit run apps/streamlit/DiffSynth_Studio.py

结语

DiffSynth-Studio作为一个强大的扩散模型引擎，为图像和视频生成领域带来了革命性的进展。通过支持多种先进模型，提供丰富的功能，以及不断推出创新技术，DiffSynth-Studio为创作者和研究者提供了一个极具潜力的平台。

无论是生成高质量的图像，还是创作长视频，或是实现有趣的视频风格化效果，DiffSynth-Studio都能满足用户的diverse需求。随着项目的不断发展和完善，我们可以期待在未来看到更多令人惊叹的AI生成内容。

DiffSynth-Studio不仅是一个工具，更是一个持续创新的平台。它将继续推动扩散模型在视觉内容创作领域的边界，为艺术家、设计师和开发者提供无限的可能性。我们期待看到更多基于DiffSynth-Studio创作的精彩作品，以及它在AI生成内容领域带来的更多突破性进展。