ComfyUI I2VGenXL

ComfyUI的I2VGenXL非官方实现

https://github.com/ZHO-ZHO-ZHO/ComfyUI-I2VGenXL/assets/140084057/f76b9a29-4aad-4696-9cde-6690eb48a16e

项目介绍

• 对I2VGenXL的非官方实现，实测下来是目前动效自然程度和光影最好的高清视频模型（幅度没有SVD1.1大，但综合效果比SVD1.1强）

• I2VGenXL特点：

  • 与SVD不同，I2VGenXL可以通过输入正负提示词来完成更好的生成
  • 分辨率：1280*704
  • 生成帧数：16帧
  • 速度：A100约97秒（比SVD1.1慢20%）

• 版本：V1.0

视频演示

文/图生视频标准工作流设计

https://github.com/ZHO-ZHO-ZHO/ComfyUI-I2VGenXL/assets/140084057/53096355-2235-40f4-9668-b7965172f0b2

节点说明

• 模型加载 | 📽️I2VGenXL Model Loader

  • 自动下载并加载官方ali-vilab/i2vgen-xl模型

• I2VGenXL生成 | 📽️I2VGenXL Generation

  • pipe：接入模型
  • image：接入图像
  • positive、negative：正负提示词
  • step：步数，官方默认50步
  • guidance_scale：提示词相关度，一般7.5-9
  • width、height：宽度、高度
  • num_frames：生成帧数
  • seed：种子

安装

• 推荐使用ComfyUI Manager安装（即将推出）

• 手动安装：

  1. cd custom_nodes
  2. git clone https://github.com/ZHO-ZHO-ZHO/ComfyUI-I2VGenXL.git
  3. cd custom_nodes/ComfyUI-I2VGenXL
  4. pip install -r requirements.txt
  5. 重启ComfyUI

使用注意

• 模型有一定概率会出现最后一帧空白的情况，原因暂不清楚，所以目前节点直接删除了最后一帧，默认生成结果是15帧

工作流

V1.0

• 标准工作流设计：

  • 参考了stablevideo.com的UI交互逻辑，与我设计的SVD1.1标准工作流相同

  • 支持文生视频和图生视频两种方式：其中文生视频支持自动暂停选择图像，满意后再运行视频生成

  • 加入了自动补帧插件

  • 使用插件：cg-image-picker，ComfyUI-SVD-ZHO，ComfyUI-Frame-Interpolation，rgthree-comfy，ComfyUI-VideoHelperSuite

  • 工作流文件：V1.0 Standard 标准版

  

• 基础工作流：V1.0 Simple 基础版

  

更新日志

• 20240206

  V1.0 优化代码，并设计标准工作流

• 20240205

  创建项目

速度实测

• V1.0

  • A100 50步 97秒

  

Stars

关于我

📬 联系我：

• 邮箱：zhozho3965@gmail.com
• QQ群：839821928

🔗 社交媒体：

• 个人页：-Zho-
• Bilibili：我的B站主页
• X（Twitter）：我的Twitter
• 小红书：我的小红书主页

💡 支持我：

• B站：B站充电
• 爱发电：为我充电

Credits

I2VGenXL