NVIDIA Stable Diffusion WebUI TensorRT扩展：让AI图像生成速度翻倍

Stable-Diffusion-WebUI-TensorRT

NVIDIA Stable Diffusion WebUI TensorRT扩展简介

NVIDIA近期发布了Stable Diffusion WebUI的TensorRT扩展,旨在为NVIDIA RTX GPU用户提供最佳的Stable Diffusion性能。这个扩展利用TensorRT优化引擎,可以显著提升AI图像生成的速度,让创作过程更加流畅高效。

本扩展支持多种主流的Stable Diffusion模型,包括Stable Diffusion 1.5、2.1、SDXL、SDXL Turbo以及LCM。对于SDXL和SDXL Turbo这样的大型模型,NVIDIA建议使用至少12GB显存的GPU以获得最佳性能,因为这些模型的规模和计算强度都较高。

安装步骤

要使用这个扩展,用户需要先安装扩展,然后生成优化的引擎。以下是在Automatic1111的Stable Diffusion WebUI中安装该扩展的步骤:

启动webui.bat
进入"Extensions"选项卡,点击"Install from URL"
复制NVIDIA Stable-Diffusion-WebUI-TensorRT仓库的链接,粘贴到"URL for extension's git repository"输入框中
点击"Install"完成安装

TensorRT扩展安装界面

使用方法

安装完成后,按照以下步骤开始使用TensorRT加速:

点击"Generate Default Engines"按钮生成默认引擎。这个过程根据GPU性能不同,大约需要2-10分钟。用户也可以根据需要生成其他组合的引擎。
进入Settings → User Interface → Quick Settings List,添加sd_unet选项。应用这些设置后重新加载UI。
回到主界面,如果sd_unet下拉菜单中没有自动选中"Automatic",请手动选择它。
现在就可以开始使用TRT加速生成图像了。如果需要创建更多引擎,可以前往TensorRT标签页进行操作。

TensorRT扩展使用界面

LoRA支持

为了使用LoRA或LyCORIS检查点,需要先将它们转换为TensorRT格式。具体步骤如下:

在TensorRT扩展的"Export LoRA"标签页中选择一个LoRA检查点。
点击"Export"进行转换(这个过程只会转换权重,不会生成引擎,大约需要20秒)。
转换完成后,就可以像平常一样在提示词中使用这些LoRA了。

性能优势

TensorRT扩展通过使用优化的引擎,可以显著提升Stable Diffusion的性能。根据NVIDIA的测试,在使用GeForce RTX 4090 GPU时,TensorRT加速可以使图像生成速度翻倍,相比之前最快的PyTorch xFormers方法有显著提升。

具体来说,在生成512x512分辨率的单张图像时:

使用PyTorch xFormers: 约15张/分钟
使用TensorRT加速: 约30张/分钟

这种性能提升对于需要大量生成图像的用户来说尤其有价值,可以大幅提高工作效率。

引擎类型说明

TensorRT使用针对特定分辨率和批量大小优化的引擎。用户可以根据需要生成多个优化引擎:

"Export Default Engines"选项会为Stable Diffusion 1.5和2.1添加512x512到768x768分辨率、批量大小1到4的支持。对于SDXL,则会生成支持1024x1024分辨率、批量大小为1的引擎。
静态引擎支持单一特定的输出分辨率和批量大小。
动态引擎支持一定范围内的分辨率和批量大小,但会稍微影响性能。范围越广,使用的显存就越多。
首次为某个检查点生成引擎需要较长时间,之后为同一检查点生成的其他引擎会快很多。

每个预设都可以通过"Advanced Settings"选项进行调整。用户可以参考NVIDIA官方文档获取更详细的使用说明。

注意事项和限制

使用TensorRT扩展时,有一些需要注意的事项:

Hires.fix: 如果在Automatic1111中使用hires.fix选项,必须构建同时匹配起始和结束分辨率的引擎。例如,如果初始大小是512x512,hires.fix放大到1024x1024,就需要生成一个覆盖整个范围的动态引擎。
分辨率: 生成图像时,分辨率需要是64的倍数。这同样适用于hires.fix,要求低分辨率和高分辨率都能被64整除。
命令行参数: 某些命令行参数可能会导致问题:
- medvram和lowvram在编译引擎时可能会引发问题。
- api可能导致model.json未更新,使得编译后SD Unet不显示。
如果安装失败或TensorRT标签没有出现在UI中,很可能是由于安装过程中出现了问题。可以参考这个指南手动解决。

系统要求

为了获得最佳性能,NVIDIA建议使用以下驱动版本:

Linux: 450.80.02及以上
Windows: 452.39及以上

NVIDIA始终建议保持驱动程序为最新版本,以获得全系统范围内的性能改进。

结语

NVIDIA Stable Diffusion WebUI TensorRT扩展为AI图像生成带来了显著的性能提升。通过简单的安装和配置,用户就能充分发挥NVIDIA RTX GPU的潜力,大幅提高工作效率。虽然在使用过程中需要注意一些细节和限制,但总体而言,这个扩展为Stable Diffusion爱好者和专业用户提供了一个强大的性能优化工具。

随着AI图像生成技术的不断发展,我们可以期待NVIDIA会持续优化和更新这个扩展,为用户带来更多的功能和性能提升。如果你是NVIDIA RTX GPU用户,不妨尝试一下这个扩展,体验AI创作的全新速度。