sd-webui-segment-anything

项目介绍：sd-webui-segment-anything

项目概述

sd-webui-segment-anything 是一个结合 Stable Diffusion 和 ControlNet 技术的扩展，旨在通过利用 segment anything 和 GroundingDINO 工具来增强图像处理功能。其主要功能包括增强图像修复、语义分割、自动图像抠图以及用于 LoRA 和 LyCORIS 训练集的图像集创建。

项目功能

1. 图像分割：通过点击图像生成分割蒙版，支持通过文本提示生成边界框和分割蒙版。
2. 图像修复：可将生成的蒙版复制到 ControlNet 进行图像修复，避免下载特定的修复模型。
3. 自动分割：支持简单的自动分割，适用于语义分割和非语义分割。
4. 批处理：支持图像布局的生成，同时适用于单张图像和批量处理。
5. CPU 支持：可选择使用 CPU 进行 SAM 推理，适用于无法使用 GPU 的情况。

项目更新

该项目定期发布更新，从 2023 年 4 月至今，已有多个重要版本的更新，包括：

• 提供额外 API 支持
• 增强 GroundingDINO 支持
• 提供对 ControlNet V1.1 的支持
• 增加 MobileSAM 模型的支持等

常见问题

项目提供了多个常见问题解答，如如何解决安装时的常见错误、拼接 SAM 扩展的运行问题，以及当前无法支持的功能。

支持的模型

sd-webui-segment-anything 支持下列模型：

• Meta AI 的 SAM 系列模型：如 sam_vit_h、sam_vit_l 和 sam_vit_b
• SysCV 的 SAM-HQ 系列模型
• Kyung Hee University 的 MobileSAM 模型

计划增加对 Matting-Anything 和 FastSAM 等其他变体模型的支持。

安装指南

用户可以通过多种方式下载安装本扩展，并且需要下载特定版本的模型文件到指定的模型目录中。GroundingDINO 和 ControlNet 注释器模型将在首次使用时自动安装。

贡献和支持

项目欢迎任何形式的贡献和功能请求。用户可以通过提供 WebUI 版本、扩展版本、浏览器版本及错误信息来帮助改进项目。项目的赞助信息也已提供。

通过这种结合最新 AI 技术与图像处理技术的项目，用户可以在图像编辑和生成方面实现更高效和自动化的工作流程。项目发展至今，已有较丰厚的功能，同时也在持续改进中。