stable-diffusion.cpp: 纯C/C++实现的Stable Diffusion推理库

stable-diffusion.cpp是一个纯C/C++实现的Stable Diffusion推理库,为开发者提供了高效、轻量级的AI图像生成解决方案。该项目基于ggml库开发,采用与llama.cpp相同的工作方式,具有超轻量级、无外部依赖等特点,支持多种Stable Diffusion模型版本和加速方案,可在CPU和GPU上进行高效推理。

主要特性

纯C/C++实现,基于ggml库开发
超轻量级,无外部依赖
支持SD1.x、SD2.x、SDXL和SD3等多个版本
支持16位、32位浮点数和2-8位整数量化
加速的内存高效CPU推理
支持AVX、AVX2和AVX512指令集
支持CUDA、Metal、Vulkan和SYCL等GPU加速后端
可加载ckpt、safetensors和diffusers格式的模型/检查点
支持Flash Attention优化内存使用
支持txt2img和img2img模式
支持负面提示词
支持LoRA微调
支持潜在一致性模型(LCM/LCM-LoRA)
支持TAESD快速解码
支持ESRGAN图像放大
支持VAE分块处理以减少内存使用
支持ControlNet
支持多种采样方法

stable-diffusion.cpp示例图

内存效率

stable-diffusion.cpp在内存使用方面表现出色。使用fp16精度进行txt2img生成512x512图像时,仅需约2.3GB内存。启用Flash Attention后,内存占用可进一步降低至约1.8GB。这使得该库能够在资源受限的设备上运行大型AI模型,为开发者提供了更多可能性。

多平台支持

stable-diffusion.cpp支持多种主流操作系统平台,包括:

Linux
macOS
Windows
Android (通过Termux)

这种广泛的平台支持使得开发者可以在各种环境中使用该库,提高了项目的可移植性和适用性。

使用方法

对于大多数用户来说,可以直接从最新的release下载预编译的可执行程序。如果预编译版本不能满足需求,也可以选择手动构建。

获取代码

git clone --recursive https://github.com/leejet/stable-diffusion.cpp
cd stable-diffusion.cpp

如果已经克隆了仓库,可以使用以下命令更新到最新代码:

cd stable-diffusion.cpp
git pull origin master
git submodule init
git submodule update

下载权重

用户需要下载原始权重文件(.ckpt或.safetensors格式)。例如:

Stable Diffusion v1.4: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
Stable Diffusion v1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5
Stable Diffusion v2.1: https://huggingface.co/stabilityai/stable-diffusion-2-1
Stable Diffusion 3 2B: https://huggingface.co/stabilityai/stable-diffusion-3-medium

可以使用curl命令下载权重文件:

curl -L -O https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt

构建

从源码构建stable-diffusion.cpp的基本步骤如下:

mkdir build
cd build
cmake ..
cmake --build . --config Release

stable-diffusion.cpp支持多种加速方案,如OpenBLAS、CUBLAS、HipBLAS、Metal、Vulkan和SYCL等。用户可以根据自己的硬件环境选择合适的加速方案。例如,使用CUBLAS加速:

cmake .. -DSD_CUBLAS=ON
cmake --build . --config Release

运行

构建完成后,可以使用以下命令运行stable-diffusion.cpp:

./bin/sd -m ../models/sd-v1-4.ckpt -p "a lovely cat"

这将使用SD v1.4模型生成一张可爱猫咪的图片。用户可以通过调整参数来控制生成过程,如图像尺寸、采样步数、随机种子等。

不同精度下的生成结果

高级功能

除了基本的图像生成功能,stable-diffusion.cpp还支持多种高级功能:

LoRA微调: 支持与stable-diffusion-webui兼容的LoRA模型,允许用户对模型进行个性化调整。
LCM/LCM-LoRA: 支持潜在一致性模型,可以提高生成质量和效率。
PhotoMaker: 支持个性化图像生成,可以根据输入的参考图像生成相似风格的新图像。
ESRGAN超分辨率: 可以使用ESRGAN模型对生成的图像进行放大,提高图像质量。
TAESD快速解码: 使用TAESD (Tiny AutoEncoder for Stable Diffusion) 进行快速解码,可以显著提高生成速度。
ControlNet: 支持SD 1.5版本的ControlNet,允许用户更精确地控制生成过程。
多种采样方法: 支持Euler A、Euler、Heun、DPM2等多种采样方法,用户可以根据需求选择合适的采样策略。

这些高级功能使得stable-diffusion.cpp不仅能满足基本的图像生成需求,还能应对更复杂的应用场景,为开发者提供了丰富的工具和选择。

性能优化

stable-diffusion.cpp在性能方面做了大量优化工作:

量化支持: 支持2-8位整数量化,可以在保持生成质量的同时显著减少模型大小和内存占用。
Flash Attention: 实现了Flash Attention技术,可以减少至少400MB的内存使用。
VAE分块处理: 支持VAE (变分自编码器) 的分块处理,可以进一步减少内存使用。
GPU加速: 支持多种GPU加速后端,包括CUDA、Metal、Vulkan和SYCL,可以充分利用硬件资源提高推理速度。
指令集优化: 支持AVX、AVX2和AVX512指令集,可以在x86架构上获得更好的性能。

这些优化措施使得stable-diffusion.cpp能够在各种硬件环境下实现高效推理,从资源受限的嵌入式设备到高性能服务器都能获得良好的性能表现。

社区贡献

stable-diffusion.cpp是一个开源项目,得到了众多开发者的贡献。项目维护者对所有贡献者表示感谢,并欢迎更多的开发者参与到项目中来。社区的活跃度也反映在项目的Star历史中,显示出稳定增长的趋势。

Star历史

生态系统

围绕stable-diffusion.cpp已经形成了初步的生态系统:

语言绑定:
- Golang: seasonjs/stable-diffusion
- C#: DarthAffe/StableDiffusion.NET
UI项目:
- Jellybox: 使用stable-diffusion.cpp作为后端的图像生成界面

这些项目为开发者提供了更多的选择,使得stable-diffusion.cpp可以更容易地集成到不同的应用场景中。

未来展望

stable-diffusion.cpp的开发团队仍在积极改进项目,未来计划包括:

实现更多采样方法
提高推理速度,特别是优化ggml_conv_2d的实现
进一步减少内存使用,包括量化ggml_conv_2d的权重
实现Inpainting支持

这些计划将使stable-diffusion.cpp变得更加强大和灵活,为AI图像生成领域带来更多可能性。

结语

stable-diffusion.cpp作为一个纯C/C++实现的Stable Diffusion推理库,以其轻量级、高性能和低内存占用的特点,为开发者提供了一个强大而灵活的AI图像生成工具。无论是在资源受限的嵌入式设备上,还是在高性能服务器上,stable-diffusion.cpp都能发挥出色的性能。随着项目的不断发展和社区的积极贡献,我们可以期待stable-diffusion.cpp在未来为更多创新应用提供支持,推动AI图像生成技术的进步。