stable-diffusion.cpp:纯C/C++实现的高性能Stable Diffusion推理引擎
stable-diffusion.cpp是一个纯C/C++实现的Stable Diffusion推理引擎,旨在提供一个轻量级、高性能、跨平台的Stable Diffusion部署方案。该项目基于ggml库开发,采用与llama.cpp类似的工作方式,具有以下主要特性:
主要特性
- 纯C/C++实现,无外部依赖
- 超轻量级,内存占用低
- 支持SD1.x、SD2.x、SDXL和SD3等多种Stable Diffusion模型
- 支持Flux-dev/Flux-schnell模型
- 支持SD-Turbo和SDXL-Turbo等高速模型
- 支持PhotoMaker个性化图像生成
- 支持16位、32位浮点数和2-8位整数量化
- 加速的内存高效CPU推理
- 支持x86架构的AVX、AVX2和AVX512指令集
- 支持CUDA、Metal、Vulkan和SYCL等GPU加速后端
- 可直接加载ckpt、safetensors和diffusers格式的模型和检查点
- 支持Flash Attention优化内存使用(目前仅CPU)
- 支持原始txt2img和img2img模式
- 支持负面提示词
- 支持LoRA模型
- 支持Latent Consistency Models (LCM/LCM-LoRA)
- 使用TAESD进行快速解码
- 使用ESRGAN进行图像超分辨率
- 支持VAE分块处理以减少内存使用
- 支持ControlNet (SD 1.5)
- 支持多种采样方法:Euler A、Euler、Heun、DPM2等
- 跨平台可重现性
- 将生成参数嵌入PNG输出
支持平台
- Linux
- macOS
- Windows
- Android (通过Termux)
使用方法
对于大多数用户,可以直接从最新发布下载预编译的可执行程序。如果预编译版本不满足需求,也可以选择手动构建。
获取代码
git clone --recursive https://github.com/leejet/stable-diffusion.cpp
cd stable-diffusion.cpp
如果之前已经克隆了仓库,可以使用以下命令更新到最新代码:
cd stable-diffusion.cpp
git pull origin master
git submodule init
git submodule update
下载权重
下载原始权重文件(.ckpt或.safetensors格式)。例如:
- Stable Diffusion v1.4: https://huggingface.co/CompVis/stable-diffusion-v-1-4-original
- Stable Diffusion v1.5: https://huggingface.co/runwayml/stable-diffusion-v1-5
- Stable Diffusion v2.1: https://huggingface.co/stabilityai/stable-diffusion-2-1
- Stable Diffusion 3 2B: https://huggingface.co/stabilityai/stable-diffusion-3-medium
可以使用以下命令下载权重文件:
curl -L -O https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt
构建
基本构建
mkdir build
cd build
cmake ..
cmake --build . --config Release
使用OpenBLAS
cmake .. -DGGML_OPENBLAS=ON
cmake --build . --config Release
使用CUBLAS (NVIDIA GPU加速)
cmake .. -DSD_CUBLAS=ON
cmake --build . --config Release
使用HipBLAS (AMD GPU加速)
cmake .. -G "Ninja" -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ -DSD_HIPBLAS=ON -DCMAKE_BUILD_TYPE=Release -DAMDGPU_TARGETS=gfx1100
cmake --build . --config Release
使用Metal (Apple GPU加速)
cmake .. -DSD_METAL=ON
cmake --build . --config Release
使用Vulkan
cmake .. -DSD_VULKAN=ON
cmake --build . --config Release
使用SYCL (Intel GPU加速)
source /opt/intel/oneapi/setvars.sh
cmake .. -DSD_SYCL=ON -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx
cmake --build . --config Release
使用Flash Attention
cmake .. -DSD_FLASH_ATTN=ON
cmake --build . --config Release
运行
stable-diffusion.cpp提供了丰富的命令行参数来控制生成过程。以下是一些常用的参数:
usage: ./bin/sd [arguments]
arguments:
-h, --help 显示帮助信息
-M, --mode [MODE] 运行模式 (txt2img 或 img2img 或 convert, 默认: txt2img)
-t, --threads N 计算时使用的线程数 (默认: -1, 即使用所有CPU核心)
-m, --model [MODEL] 完整模型路径
-p, --prompt [PROMPT] 生成提示词
-n, --negative-prompt PROMPT 负面提示词 (默认: "")
--cfg-scale SCALE 无条件引导比例 (默认: 7.0)
-H, --height H 图像高度, 像素 (默认: 512)
-W, --width W 图像宽度, 像素 (默认: 512)
--sampling-method {euler, euler_a, heun, dpm2, dpm++2s_a, dpm++2m, dpm++2mv2, ipndm, ipndm_v, lcm}
采样方法 (默认: "euler_a")
--steps STEPS 采样步数 (默认: 20)
-s SEED, --seed SEED RNG种子 (默认: 42, 小于0则使用随机种子)
-b, --batch-count COUNT 生成图像数量
txt2img示例
./bin/sd -m ../models/sd-v1-4.ckpt -p "a lovely cat"
使用不同精度格式会产生不同质量的结果:
f32 | f16 | q8_0 | q5_0 | q5_1 | q4_0 | q4_1 |
---|---|---|---|---|---|---|
![]() | ![]() | ![]() | ![]() | ![]() | ![]() | ![]() |
img2img示例
./bin/sd --mode img2img -m ../models/sd-v1-4.ckpt -p "cat with blue eyes" -i ./output.png -o ./img2img_output.png --strength 0.4
更多指南
绑定
以下项目为其他语言/框架提供了stable-diffusion.cpp的封装:
用户界面
以下项目使用stable-diffusion.cpp作为后端进行图像生成:
贡献者
感谢所有已经为stable-diffusion.cpp做出贡献的人!
Star历史
参考
- ggml
- stable-diffusion
- sd3-ref
- stable-diffusion-stability-ai
- stable-diffusion-webui
- ComfyUI
- k-diffusion
- latent-consistency-model
- generative-models
- PhotoMaker
stable-diffusion.cpp为Stable Diffusion的部署和应用提供了一个高效、灵活的解决方案。无论是在资源受限的设备上运行,还是在高性能服务器上进行大规模推理,该项目都能很好地满足需求。随着社区的不断贡献和改进,相信stable-diffusion.cpp会在未来为更多Stable Diffusion的应用场景提供强大支持。