CogVideoX-5b

CogVideoX-5b项目介绍

CogVideoX-5b是一个开源的视频生成模型,由清语(QingYing)系列模型衍生而来。作为一个大规模视频生成模型,CogVideoX-5b在视频生成质量和视觉效果方面表现出色。

模型特点

• 高质量视频生成: CogVideoX-5b能够根据文本提示生成高质量、流畅的视频内容,视觉效果优秀。

• 大规模参数: 模型包含50亿参数,相比2B版本的模型具有更强的生成能力。

• 灵活的推理选项: 支持BF16、FP16、FP32等多种推理精度,可根据硬件条件灵活选择。

• 低资源消耗: 使用diffusers库优化后,单GPU推理最低仅需5GB显存。

• 多GPU推理: 支持多GPU推理,可进一步降低单卡显存需求至15GB。

• 量化支持: 支持INT8量化,可在更小显存的GPU上运行。

技术细节

• 推理精度: 推荐使用BF16精度进行推理,与模型训练时使用的精度一致。

• 显存消耗: 使用SAT库进行BF16推理时需26GB显存;使用diffusers库优化后最低可降至5GB。

• 推理速度: 在单张A100上50步推理约需180秒,H100上约需90秒。

• 输入限制: 仅支持英文输入,最大支持226个token。

• 视频参数: 生成6秒720x480分辨率、8帧/秒的视频。

• 位置编码: 采用3d_rope_pos_embed位置编码方式。

使用方法

CogVideoX-5b支持使用Hugging Face的diffusers库进行部署和使用。用户只需安装必要的依赖库,然后使用几行Python代码即可生成视频:

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

# 加载模型
pipe = CogVideoXPipeline.from_pretrained("THUDM/CogVideoX-5b", torch_dtype=torch.bfloat16)

# 设置优化选项
pipe.enable_model_cpu_offload()
pipe.vae.enable_tiling()

# 生成视频
video = pipe(prompt="Your text prompt here").frames[0]

# 导出视频
export_to_video(video, "output.mp4", fps=8)

量化推理

CogVideoX-5b还支持使用PytorchAO和Optimum-quanto进行量化,以进一步降低内存需求。这使得模型可以在更小显存的GPU甚至免费的Colab T4 GPU上运行。量化后的模型还可以与torch.compile兼容,显著提升推理速度。

更多资源

欢迎访问CogVideoX的GitHub仓库,那里有更多详细的技术说明、代码解释、提示词优化建议,以及SAT版本模型的推理和微调指南等资源。此外,还可以了解到项目的最新动态和CogVideoX工具链的使用方法。

CogVideoX-5b为研究人员和开发者提供了一个强大而灵活的视频生成模型,可广泛应用于创意内容制作、视觉效果生成等多个领域。无论是想要探索视频生成技术,还是将其应用到实际项目中,CogVideoX-5b都是一个值得尝试的选择。