ComfyUI_ExtraModels: 为ComfyUI添加更多强大的图像生成模型支持

ComfyUI_ExtraModels: 为ComfyUI添加更多强大的图像生成模型支持

ComfyUI作为一个流行的Stable Diffusion图形用户界面,以其灵活的节点式设计而广受欢迎。然而,默认的ComfyUI仅支持有限的几种模型。为了进一步扩展ComfyUI的功能,让更多先进的图像生成模型能够在ComfyUI中使用,一个名为ComfyUI_ExtraModels的项目应运而生。本文将详细介绍这个项目的安装、使用方法以及它所支持的各种模型类型。

项目简介

ComfyUI_ExtraModels是一个由GitHub用户city96开发的开源项目,旨在为ComfyUI添加各种不同的图像扩散模型支持。截至目前,该项目已经支持了PixArt、DiT、HunYuan DiT、MiaoBi等多种先进模型,大大扩展了ComfyUI的功能范围。

安装方法

要安装ComfyUI_ExtraModels,您需要按照以下步骤操作:

1. 打开命令行,进入到ComfyUI的安装目录。
2. 运行以下命令将项目克隆到custom_nodes文件夹中:

git clone https://github.com/city96/ComfyUI_ExtraModels custom_nodes/ComfyUI_ExtraModels

3. 安装所需的依赖项。如果您使用的是虚拟环境或conda环境,请确保先激活该环境,然后运行:

pip install -r requirements.txt

对于使用ComfyUI独立版本的用户,安装过程略有不同:

1. 在ComfyUI_windows_portable目录下打开PowerShell窗口。
2. 运行以下命令克隆仓库:

git clone https://github.com/city96/ComfyUI_ExtraModels .\ComfyUI\custom_nodes\ComfyUI_ExtraModels

3. 安装依赖项:

.\python_embeded\python.exe -s -m pip install -r .\ComfyUI\custom_nodes\ComfyUI_ExtraModels\requirements.txt
.\python_embeded\python.exe -s -m pip install bitsandbytes --prefer-binary --extra-index-url=https://jllllll.github.io/bitsandbytes-windows-webui

安装完成后,您就可以在ComfyUI中使用这些额外的模型了。

支持的模型类型

ComfyUI_ExtraModels目前支持以下几种主要的模型类型:

PixArt

PixArt是一种先进的文本到图像生成模型,由PixArt-alpha团队开发。它使用T5文本编码器而不是CLIP,可用于生成512x512和1024x1024分辨率的图像。

使用PixArt模型的步骤:

1. 从PixArt alpha仓库下载模型权重文件,推荐使用1024px版本的PixArt-XL-2-1024-MS.pth。
2. 将权重文件放入ComfyUI的checkpoints文件夹。
3. 使用正确的PixArt checkpoint loader加载模型。
4. 设置T5v11文本编码器(具体步骤见下文T5部分)。

值得注意的是,PixArt还提供了Sigma版本和LCM版本,它们的使用方法略有不同,请参考项目文档进行正确配置。

](https://private-user-images.githubusercontent.com/125218114/332019881-7a9d6e34-d3f4-4f67-a17f-4f2d6795e54e.png?jwt=eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJpc3MiOiJnaXRodWIuY29tIiwiYXVkIjoicmF3LmdpdGh1YnVzZXJjb250ZW50LmNvbSIsImtleSI6ImtleTUiLCJleHAiOjE3MjU1MjU5MDQsIm5iZiI6MTcyNTUyNTYwNCwicGF0aCI6Ii8xMjUyMTgxMTQvMzMyMDE5ODgxLTdhOWQ2ZTM0LWQzZjQtNGY2Ny1hMTdmLTRmMmQ2Nzk1ZTU0ZS5wbmc_WC1BbXotQWxnb3JpdGhtPUFXUzQtSE1BQy1TSEEyNTYmWC1BbXotQ3JlZ