stable-diffusion.cpp: 纯C/C++实现的Stable Diffusion推理引擎

Ray

stable-diffusion.cpp:纯C/C++实现的高性能Stable Diffusion推理引擎

stable-diffusion.cpp logo

stable-diffusion.cpp是一个纯C/C++实现的Stable Diffusion推理引擎,旨在提供一个轻量级、高性能、跨平台的Stable Diffusion部署方案。该项目基于ggml库开发,采用与llama.cpp类似的工作方式,具有以下主要特性:

主要特性

  • 纯C/C++实现,无外部依赖
  • 超轻量级,内存占用低
  • 支持SD1.x、SD2.x、SDXL和SD3等多种Stable Diffusion模型
  • 支持Flux-dev/Flux-schnell模型
  • 支持SD-Turbo和SDXL-Turbo等高速模型
  • 支持PhotoMaker个性化图像生成
  • 支持16位、32位浮点数和2-8位整数量化
  • 加速的内存高效CPU推理
  • 支持x86架构的AVX、AVX2和AVX512指令集
  • 支持CUDA、Metal、Vulkan和SYCL等GPU加速后端
  • 可直接加载ckpt、safetensors和diffusers格式的模型和检查点
  • 支持Flash Attention优化内存使用(目前仅CPU)
  • 支持原始txt2img和img2img模式
  • 支持负面提示词
  • 支持LoRA模型
  • 支持Latent Consistency Models (LCM/LCM-LoRA)
  • 使用TAESD进行快速解码
  • 使用ESRGAN进行图像超分辨率
  • 支持VAE分块处理以减少内存使用
  • 支持ControlNet (SD 1.5)
  • 支持多种采样方法:Euler A、Euler、Heun、DPM2等
  • 跨平台可重现性
  • 将生成参数嵌入PNG输出

支持平台

  • Linux
  • macOS
  • Windows
  • Android (通过Termux)

使用方法

对于大多数用户,可以直接从最新发布下载预编译的可执行程序。如果预编译版本不满足需求,也可以选择手动构建。

获取代码

git clone --recursive https://github.com/leejet/stable-diffusion.cpp
cd stable-diffusion.cpp

如果之前已经克隆了仓库,可以使用以下命令更新到最新代码:

cd stable-diffusion.cpp
git pull origin master
git submodule init
git submodule update

下载权重

下载原始权重文件(.ckpt或.safetensors格式)。例如:

可以使用以下命令下载权重文件:

curl -L -O https://huggingface.co/CompVis/stable-diffusion-v-1-4-original/resolve/main/sd-v1-4.ckpt

构建

基本构建
mkdir build
cd build
cmake ..
cmake --build . --config Release
使用OpenBLAS
cmake .. -DGGML_OPENBLAS=ON
cmake --build . --config Release
使用CUBLAS (NVIDIA GPU加速)
cmake .. -DSD_CUBLAS=ON
cmake --build . --config Release
使用HipBLAS (AMD GPU加速)
cmake .. -G "Ninja" -DCMAKE_C_COMPILER=clang -DCMAKE_CXX_COMPILER=clang++ -DSD_HIPBLAS=ON -DCMAKE_BUILD_TYPE=Release -DAMDGPU_TARGETS=gfx1100
cmake --build . --config Release
使用Metal (Apple GPU加速)
cmake .. -DSD_METAL=ON
cmake --build . --config Release
使用Vulkan
cmake .. -DSD_VULKAN=ON
cmake --build . --config Release
使用SYCL (Intel GPU加速)
source /opt/intel/oneapi/setvars.sh
cmake .. -DSD_SYCL=ON -DCMAKE_C_COMPILER=icx -DCMAKE_CXX_COMPILER=icpx
cmake --build . --config Release
使用Flash Attention
cmake .. -DSD_FLASH_ATTN=ON
cmake --build . --config Release

运行

stable-diffusion.cpp提供了丰富的命令行参数来控制生成过程。以下是一些常用的参数:

usage: ./bin/sd [arguments]

arguments:
  -h, --help                         显示帮助信息
  -M, --mode [MODE]                  运行模式 (txt2img 或 img2img 或 convert, 默认: txt2img)
  -t, --threads N                    计算时使用的线程数 (默认: -1, 即使用所有CPU核心)
  -m, --model [MODEL]                完整模型路径
  -p, --prompt [PROMPT]              生成提示词
  -n, --negative-prompt PROMPT       负面提示词 (默认: "")
  --cfg-scale SCALE                  无条件引导比例 (默认: 7.0)
  -H, --height H                     图像高度, 像素 (默认: 512)
  -W, --width W                      图像宽度, 像素 (默认: 512)
  --sampling-method {euler, euler_a, heun, dpm2, dpm++2s_a, dpm++2m, dpm++2mv2, ipndm, ipndm_v, lcm}
                                     采样方法 (默认: "euler_a")
  --steps  STEPS                     采样步数 (默认: 20)
  -s SEED, --seed SEED               RNG种子 (默认: 42, 小于0则使用随机种子)
  -b, --batch-count COUNT            生成图像数量

txt2img示例

./bin/sd -m ../models/sd-v1-4.ckpt -p "a lovely cat"

使用不同精度格式会产生不同质量的结果:

f32f16q8_0q5_0q5_1q4_0q4_1
f32f16q8_0q5_0q5_1q4_0q4_1

img2img示例

./bin/sd --mode img2img -m ../models/sd-v1-4.ckpt -p "cat with blue eyes" -i ./output.png -o ./img2img_output.png --strength 0.4

img2img output

更多指南

绑定

以下项目为其他语言/框架提供了stable-diffusion.cpp的封装:

用户界面

以下项目使用stable-diffusion.cpp作为后端进行图像生成:

贡献者

感谢所有已经为stable-diffusion.cpp做出贡献的人!

Contributors

Star历史

Star History Chart

参考

stable-diffusion.cpp为Stable Diffusion的部署和应用提供了一个高效、灵活的解决方案。无论是在资源受限的设备上运行,还是在高性能服务器上进行大规模推理,该项目都能很好地满足需求。随着社区的不断贡献和改进,相信stable-diffusion.cpp会在未来为更多Stable Diffusion的应用场景提供强大支持。

avatar
0
0
0
最新项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

Trae

Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号