stable-diffusion.cpp

stable-diffusion.cpp 项目介绍

stable-diffusion.cpp 是一个纯 C/C++ 实现的 Stable Diffusion 和 Flux 推理库。该项目基于 ggml 库开发,工作原理类似于 llama.cpp。它具有以下特点和功能:

主要特性

• 轻量级实现,无外部依赖
• 支持 SD1.x、SD2.x、SDXL 和 SD3/SD3.5 模型
• 支持 Flux-dev/Flux-schnell
• 支持 SD-Turbo 和 SDXL-Turbo
• 支持 PhotoMaker
• 支持 16 位和 32 位浮点数
• 支持 2-8 位整数量化
• 内存高效的 CPU 推理加速
• 支持 x86 架构的 AVX、AVX2 和 AVX512 指令集
• 支持 CUDA、Metal、Vulkan 和 SYCL 后端进行 GPU 加速
• 可直接加载 ckpt、safetensors 和 diffusers 格式的模型和检查点
• 支持 Flash Attention 优化内存使用
• 支持 txt2img 和 img2img 生成模式
• 支持负面提示词
• 支持 LoRA 和 LCM/LCM-LoRA
• 支持 TAESD 加速潜空间解码
• 支持 ESRGAN 超分辨率
• 支持 VAE 切片处理减少内存使用
• 支持 SD 1.5 的 ControlNet
• 支持多种采样方法
• 支持跨平台可重复性
• 支持将生成参数嵌入 PNG 输出

使用方法

用户可以从项目的 release 页面下载预编译的可执行文件,也可以选择手动构建。构建时可以选择启用 OpenBLAS、CUBLAS、Metal 等后端以获得更好的性能。使用时可以通过命令行参数控制生成过程,支持 txt2img 和 img2img 两种模式。

更多功能

该项目还支持 LoRA、LCM、PhotoMaker 个性化生成、ESRGAN 超分辨率、TAESD 快速解码等高级功能。此外,它还提供了 Docker 支持和模型量化功能。

生态系统

stable-diffusion.cpp 已经有了 Go 和 C# 的绑定,方便在其他语言中使用。同时也有一些项目将其作为后端来提供图像生成服务。

总的来说,stable-diffusion.cpp 是一个功能丰富、性能优良的 Stable Diffusion 推理库,为在资源受限的环境中部署 AI 图像生成提供了便利。它正在持续开发中,未来有望支持更多功能。