stable-video-diffusion-img2vid-xt-1-1

项目介绍：stable-video-diffusion-img2vid-xt-1-1

项目背景

Stable Video Diffusion (SVD) 1.1 是一个图像到视频的生成模型，由 Stability AI 开发和资助。该模型使用扩散技术，从输入的静态图像生成短视频。这种转换为研究和艺术创造提供了新的可能性。

模型详解

模型描述

Stable Video Diffusion 1.1 是一种潜在的扩散模型，专门用于从图像生成视频片段。此模型经过训练，可以从一个同样分辨率为1024x576的图像生成25帧的视频。为提高输出的一致性，不必调整超参数，该模型在6FPS固定条件和Motion Bucket Id 127上进行微调。这些条件虽然可调节，但在此版本中性能可能会有所不同。

• 开发公司: Stability AI
• 资金支持: 由 Stability AI 资助
• 模型类型: 图像生成视频的生成模型
• 微调自模型: SVD Image-to-Video [25 frames]

模型来源

为了研究目的，推荐使用 Stability AI 的 generative-models GitHub 仓库，该仓库实现了最流行的扩散框架。

• GitHub 仓库: https://github.com/Stability-AI/generative-models
• 相关论文: Stable Video Diffusion 研究论文

使用指南

直接使用

该模型专为研究目的而设计，可用于以下领域：

• 研究生成模型的潜力。
• 探索生成模型在安全部署中的应用，尤其是防止生成有害内容。
• 研究生成模型的局限性和偏差。
• 艺术品生成和设计领域的应用。
• 教育和创造性工具中的应用。

非预期使用

模型并非用于生成实际人物或事件的真实表示。因此，利用该模型生成此类内容并不在其能力范围之内。任何使用方法均不得违反 Stability AI 的可接受使用政策。

局限性和偏见

局限性

• 生成的视频较短（不超过4秒），且无法达成完美的照片真实感。
• 视频可能缺乏明显的运动，或者只有非常缓慢的镜头移动。
• 该模型无法通过文本进行控制或生成清晰的文本。
• 对于人脸及人物的生成效果欠佳。
• 模型的自编码过程存在损耗。

建议

该模型主要用于研究，不建议用于商业或生产环境。

如何开始使用

可以访问 Stability AI 的 GitHub 仓库 查看详细的教程和代码实现。