stable-diffusion.cpp: 纯C/C++实现的Stable Diffusion推理引擎

stable-diffusion.cpp:纯C/C++实现的高性能Stable Diffusion推理引擎

stable-diffusion.cpp logo

stable-diffusion.cpp是一个纯C/C++实现的Stable Diffusion推理引擎,旨在提供一个轻量级、高性能、跨平台的Stable Diffusion部署方案。该项目基于ggml库开发,采用与llama.cpp类似的工作方式,具有以下主要特性:

主要特性

纯C/C++实现,无外部依赖
超轻量级,内存占用低
支持SD1.x、SD2.x、SDXL和SD3等多种Stable Diffusion模型
支持Flux-dev/Flux-schnell模型
支持SD-Turbo和SDXL-Turbo等高速模型
支持PhotoMaker个性化图像生成
支持16位、32位浮点数和2-8位整数量化
加速的内存高效CPU推理
支持x86架构的AVX、AVX2和AVX512指令集
支持CUDA、Metal、Vulkan和SYCL等GPU加速后端
可直接加载ckpt、safetensors和diffusers格式的模型和检查点
支持Flash Attention优化内存使用(目前仅CPU)
支持原始txt2img和img2img模式
支持负面提示词
支持LoRA模型
支持Latent Consistency Models (LCM/LCM-LoRA)
使用TAESD进行快速解码
使用ESRGAN进行图像超分辨率
支持VAE分块处理以减少内存使用
支持ControlNet (SD 1.5)
支持多种采样方法:Euler A、Euler、Heun、DPM2等
跨平台可重现性
将生成参数嵌入PNG输出

支持平台

Linux
macOS
Windows
Android (通过Termux)

使用方法

对于大多数用户,可以直接从最新发布下载预编译的可执行程序。如果预编译版本不满足需求,也可以选择手动构建。

获取代码

git clone --recursive https://github.com/leejet/stable-diffusion.cpp
cd stable-diffusion.cpp

如果之前已经克隆了仓库,可以使用以下命令更新到最新代码:

cd stable-diffusion.cpp
git pull origin master
git submodule init
git submodule update

下载权重

下载原始权重文件(.ckpt或.safetensors格式)。例如:

Stable Diffusion v1.4: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
Stable Diffusion v1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5
Stable Diffusion v2.1: https://huggingface.co/stabilityai/stable-diffusion-2-1
Stable Diffusion 3 2B: https://huggingface.co/stabilityai/stable-diffusion-3-medium

可以使用以下命令下载权重文件:

curl -L -O https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt

构建

基本构建

mkdir build
cd build
cmake ..
cmake --build . --config Release

使用OpenBLAS

cmake .. -DGGML_OPENBLAS=ON
cmake --build . --config Release

使用CUBLAS (NVIDIA GPU加速)

cmake .. -DSD_CUBLAS=ON
cmake --build . --config Release

使用HipBLAS (AMD GPU加速)

cmake .. -G "Ninja" -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ -DSD_HIPBLAS=ON -DCMAKE_BUILD_TYPE=Release -DAMDGPU_TARGETS=gfx1100
cmake --build . --config Release

使用Metal (Apple GPU加速)

cmake .. -DSD_METAL=ON
cmake --build . --config Release

使用Vulkan

cmake .. -DSD_VULKAN=ON
cmake --build . --config Release

使用SYCL (Intel GPU加速)

source /opt/intel/oneapi/setvars.sh
cmake .. -DSD_SYCL=ON -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx
cmake --build . --config Release

使用Flash Attention

cmake .. -DSD_FLASH_ATTN=ON
cmake --build . --config Release

运行

stable-diffusion.cpp提供了丰富的命令行参数来控制生成过程。以下是一些常用的参数:

usage: ./bin/sd [arguments]

arguments:
  -h, --help                         显示帮助信息
  -M, --mode [MODE]                  运行模式 (txt2img 或 img2img 或 convert, 默认: txt2img)
  -t, --threads N                    计算时使用的线程数 (默认: -1, 即使用所有CPU核心)
  -m, --model [MODEL]                完整模型路径
  -p, --prompt [PROMPT]              生成提示词
  -n, --negative-prompt PROMPT       负面提示词 (默认: "")
  --cfg-scale SCALE                  无条件引导比例 (默认: 7.0)
  -H, --height H                     图像高度, 像素 (默认: 512)
  -W, --width W                      图像宽度, 像素 (默认: 512)
  --sampling-method {euler, euler_a, heun, dpm2, dpm++2s_a, dpm++2m, dpm++2mv2, ipndm, ipndm_v, lcm}
                                     采样方法 (默认: "euler_a")
  --steps  STEPS                     采样步数 (默认: 20)
  -s SEED, --seed SEED               RNG种子 (默认: 42, 小于0则使用随机种子)
  -b, --batch-count COUNT            生成图像数量

txt2img示例

./bin/sd -m ../models/sd-v1-4.ckpt -p "a lovely cat"

使用不同精度格式会产生不同质量的结果:

f32	f16	q8_0	q5_0	q5_1	q4_0	q4_1

img2img示例

./bin/sd --mode img2img -m ../models/sd-v1-4.ckpt -p "cat with blue eyes" -i ./output.png -o ./img2img_output.png --strength 0.4

img2img output

绑定

以下项目为其他语言/框架提供了stable-diffusion.cpp的封装:

Golang: seasonjs/stable-diffusion
C#: DarthAffe/StableDiffusion.NET

用户界面

以下项目使用stable-diffusion.cpp作为后端进行图像生成:

Jellybox

贡献者

感谢所有已经为stable-diffusion.cpp做出贡献的人!

Contributors

Star历史

参考

stable-diffusion.cpp为Stable Diffusion的部署和应用提供了一个高效、灵活的解决方案。无论是在资源受限的设备上运行,还是在高性能服务器上进行大规模推理,该项目都能很好地满足需求。随着社区的不断贡献和改进,相信stable-diffusion.cpp会在未来为更多Stable Diffusion的应用场景提供强大支持。