ComfyUI_stable_fast: 加速AI图像生成的实验性工具

ComfyUI_stable_fast简介

ComfyUI_stable_fast是一个为ComfyUI开发的实验性项目，旨在通过整合stable-fast和TensorRT技术来大幅提升AI图像生成的速度和效率。该项目由GitHub用户gameltb开发和维护，为AI艺术创作者和开发者提供了一种优化ComfyUI性能的新方法。

主要特性

1. 稳定快速：利用stable-fast技术提高图像生成的稳定性和速度。
2. TensorRT支持：集成NVIDIA的TensorRT引擎，进一步优化GPU计算性能。
3. 广泛兼容性：支持多种流行的AI模型，如SD1.5、SDXL和SSD-1B等。
4. 灵活配置：提供多种优化选项，适应不同硬件和性能需求。

安装和配置

要使用ComfyUI_stable_fast，您需要按照以下步骤进行安装和配置：

1. 克隆仓库：

   git clone https://github.com/gameltb/ComfyUI_stable_fast custom_nodes/ComfyUI_stable_fast
   

2. 安装依赖：

   • 对于stable-fast，请参考stable-fast安装指南。
   • 对于TensorRT，需要安装以下包：

     pip install onnx zstandard onnxscript --upgrade
     pip install --pre --upgrade --extra-index-url https://pypi.nvidia.com tensorrt==10.2.0
     pip install onnx-graphsurgeon polygraphy --extra-index-url https://pypi.ngc.nvidia.com
     

3. 配置ComfyUI：

   • 使用stable-fast时，建议使用--disable-cuda-malloc参数运行ComfyUI。
   • 使用TensorRT时，请使用--disable-xformers --force-fp16 --fp16-vae参数运行ComfyUI。

使用指南

ComfyUI_stable_fast提供了两种主要的优化节点：

1. Apply StableFast Unet：

   • 支持Lora、ControlNet和LCM。
   • 适用于SD1.5和SSD-1B模型，SDXL也应该可以工作。
   • 建议直接连接到KSampler节点，以避免不必要的重新编译。

2. Apply TensorRT Unet：

   • 提供UNET和UNET_BLOCK两种补丁类型。
   • 可以通过调整keep_width、keep_height等参数优化性能。
   • 支持为不同模型构建专用引擎。

性能优化技巧

• 对于重复使用相同模型的情况，考虑启用enable_cuda_graph选项。
• 在使用TensorRT时，第一次启动可能需要较长时间来构建引擎，但后续使用会显著加快。
• 合理设置keep_width、keep_height等参数，可以减少引擎重建的次数，提高效率。

性能测试

ComfyUI_stable_fast在不同配置下的性能表现令人印象深刻。以下是在GeForce RTX 3060 Mobile (6GB)上的测试结果：

这些数据显示，ComfyUI_stable_fast在大多数情况下能够显著提升图像生成的速度，特别是在使用TensorRT时。

适用场景和限制

ComfyUI_stable_fast适用于以下场景：

• 需要快速生成大量AI图像的项目。
• 有较高性能GPU但希望进一步提升效率的用户。
• 对AI图像生成速度有严格要求的专业工作流程。

然而，用户也应该注意到一些限制：

• 某些高级功能（如FreeU）在使用TensorRT UNET模式时可能不可用。
• 首次使用TensorRT时，需要较长时间来构建引擎。
• 在低显存设备上，某些优化可能无法充分发挥作用。

未来展望

ComfyUI_stable_fast项目仍在积极开发中，未来可能会带来更多优化和功能：

1. 改进VAE解码和ControlNet模型的支持。
2. 增加对更多AI模型和ComfyUI节点的兼容性。
3. 进一步优化TensorRT引擎的构建和加载过程。

结语

ComfyUI_stable_fast为AI图像生成领域带来了显著的性能提升，为创作者和开发者提供了更高效的工作流程。虽然仍处于实验阶段，但其潜力已经得到充分展现。随着项目的不断发展和完善，我们可以期待看到更多令人兴奋的优化和功能。对于那些追求极致效率的AI艺术爱好者和专业人士来说，ComfyUI_stable_fast无疑是一个值得关注和尝试的工具。

通过合理利用ComfyUI_stable_fast提供的优化，创作者可以更快速地实现他们的艺术愿景，开发者也能够构建更高效的AI图像生成应用。随着AI技术的不断进步，像ComfyUI_stable_fast这样的工具将在推动AI创意领域的发展中发挥越来越重要的作用。