scepter

<h1 align="center">🪄SCEPTER</h1> <p align="center"> <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/4793e9dc-0832-4116-8677-1fd9c4555f08.svg"> <img src="https://yellow-cdn.veclightyear.com/35dd4d3f/7414ddaf-d94c-4769-b2d1-6fa905cb6007.svg"> <a href="https://pypi.org/project/scepter/"><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/5da2fa4c-8ea4-4221-8972-783b9a3e586a.svg"></a> <a href="https://github.com/modelscope/scepter/blob/main/LICENSE"><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/751f841d-21ee-4063-be09-d42a1b2fec14.png"></a> <a href="https://github.com/modelscope/scepter/"><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/df276af2-633a-40f1-ac30-113abbceea4e.svg"></a> </p>

🪄SCEPTER是一个专注于生成训练、微调和推理的开源代码库，涵盖了诸如图像生成、迁移、编辑等一套下游任务。SCEPTER集成了流行的社区驱动实现以及阿里巴巴集团同裔实验室的专有方法，为AIGC领域的研究人员和从业者提供了一个全面的工具包。这个多功能库旨在促进行业创新，加速快速发展的生成模型领域的发展。

SCEPTER提供了3个核心组件：

• 生成训练和推理框架
• 简单实现流行的方法
• 交互用户界面：SCEPTER Studio

🎉 新闻

• [2024.07]：支持基于DiT架构的开源生成模型的推理和训练，例如SD3和PixArt。
• [2024.05]：推出SCEPTER v1，支持定制化图像编辑任务！只需提供10对图像，SCEPTER将为您调整一个编辑调谐器，用于图像到图像的任务，如泥土风格，去除文字，分割等。
• [2024.04]：在SCEPTER Studio上新增StyleBooth演示，用于基于文本的风格编辑。
• [2024.03]：我们优化了训练UI和检查点管理。在SCEPTER Studio上新增LAR-Gen模型，支持缩放出，虚拟试穿，图像修补。
• [2024.02]：我们发布了新的SD v2.1和SD XL的SCEdit可控图像合成模型。应用多种策略加速SCEPTER Studio的推理时间。
• [2024.01]：我们发布了SCEPTER Studio，一个基于Gradio的数据管理、模型训练和推理的集成工具包。
• [2024.01]：SCEdit支持可控图像合成的训练和推理。
• [2023.12]：我们提出了SCEdit，一个高效且可控的生成框架。
• [2023.12]：我们发布了🪄SCEPTER库。

🖼 最近作品画廊

编辑调谐器

只需提供10对图像，SCEPTER将为您调整一个编辑调谐器，用于图像到图像的任务，如泥土风格，去除文字，分割等。 试试我们的官方少样本数据集：去除文字，Image2Hed，Image2Depth，Depth2Image。

<table><tbody> <tr> <th align="center" colspan="4">泥土风格<br>提示："将这张图片转换成泥土风格"</th> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/22e64516-3ac3-4f48-8bde-60709e90a70a.jpeg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/fdb87b52-7978-47c4-bee5-bedf611a1867.jpeg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/425908e0-5c55-467c-a24a-9c0e59da0e8d.jpg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/867af88d-9af5-4b15-834f-bee00cab59bf.jpeg" width="300"></td> </tr> <tr> <th align="center" colspan="2">去除文字<br>提示："去除文本信息"</th> <th align="center" colspan="2">Image2Hed<br>提示："转换为边缘图"</th> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/b30dd904-4ba0-4c9c-8f2b-5862cc349e6a.jpg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/b8de506f-5db2-481e-aab9-559b91052103.jpeg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/425908e0-5c55-467c-a24a-9c0e59da0e8d.jpg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/e3ad2a7f-cbe1-4c16-aa69-f605b9a3b14e.jpeg" width="300"></td> </tr> <tr> <th align="center" colspan="2">Image2Depth<br>提示："计算深度图"</th> <th align="center" colspan="2">Depth2Image<br>提示："将深度图转换为彩色图像"</th> </tr> <tr> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/f47ea791-9626-454b-8f59-c573d54d2641.jpg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/91bc11db-9907-4b83-844b-164f7a564641.jpeg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/c267a928-b582-436e-b6d6-fe2b1469d75d.jpg" width="300"></td> <td><img src="https://yellow-cdn.veclightyear.com/35dd4d3f/9adcdd6a-1479-484a-92c8-14dcb40abbbc.jpeg" width="300"></td> </tr> </tbody> </table> 注意：左侧图像为输入，右侧图像为输出。

🛠️ 安装

• 使用conda命令创建新环境：

conda env create -f environment.yaml
conda activate scepter

• 使用pip命令安装：

我们建议安装特定版本的PyTorch和加速工具箱xFormers。你可以通过pip安装这些推荐版本：

pip install -r requirements/recommended.txt
pip install scepter

🧩 生成框架

教程

文档	关键特性
训练	DDP / FSDP / FairScale / Xformers
推理	动态加载/卸载
数据集管理	本地 / Http / OSS / Modelscope

📝 流行的方法

当前支持的方法

任务	方法	链接
文本生成图像	SD v1.5
文本生成图像	SD v2.1
文本生成图像	SD-XL
高效调优	LoRA
高效调优	Res-Tuning(NeurIPS23)
可控图像合成	🌟SCEdit(CVPR24)
图像编辑	🌟LAR-Gen
图像编辑	🌟StyleBooth

🖥️ SCEPTER Studio

启动

要充分体验 SCEPTER Studio，可以启动以下命令行：

pip install scepter
python -m scepter.tools.webui

或者在克隆仓库代码后运行

git clone https://github.com/modelscope/scepter.git
PYTHONPATH=. python scepter/tools/webui.py --cfg scepter/methods/studio/scepter_ui.yaml

SCEPTER Studio 的启动不需要手动下载和组织模型；它将自动加载相应的模型并将其存储在本地目录中。 根据网络和硬件情况，初次启动通常需要15-60分钟，主要涉及下载和处理SDv1.5、SDv2.1和SDXL模型。 因此，后续的启动会变得更快（大约一分钟），因为不再需要下载。

使用演示

图像编辑	训练	模型共享	模型推理	数据管理
<video src="https://www.modelscope.cn/api/v1/models/iic/scepter/repo?Revision=master&FilePath=assets%2Fscepter_studio%2Fimage_editing_20240419.webm" width="240" controls></video>	<video src="https://www.modelscope.cn/api/v1/models/iic/scepter/repo?Revision=master&FilePath=assets%2Fscepter_studio%2Ftraining_20240419.webm" width="240" controls></video>	<video src="https://www.modelscope.cn/api/v1/models/iic/scepter/repo?Revision=master&FilePath=assets%2Fscepter_studio%2Fmodel_sharing_20240419.webm" width="240" controls></video>	<video src="https://www.modelscope.cn/api/v1/models/iic/scepter/repo?Revision=master&FilePath=assets%2Fscepter_studio%2Fmodel_inference_20240419.webm" width="240" controls></video>	<video src="https://www.modelscope.cn/api/v1/models/iic/scepter/repo?Revision=master&FilePath=assets%2Fscepter_studio%2Fdata_management_20240419.webm" width="240" controls></video>

Modelscope Studio & Huggingface Space

我们在Modelscope上部署了一个仅包含推理选项的工作工作室，请参考 ms_scepter_studio 和 hf_scepter_studio

🔍 了解更多

• 阿里巴巴通义视觉智能实验室

  了解有关图像生成、视频生成和编辑任务的更多开源项目。

• ModelScope library

  ModelScope库是ModelScope项目的模型库，包含大量流行模型。

• SWIFT library

  SWIFT（可扩展轻量级调优基础设施）是一个用于轻量级模型调优和推理的可扩展框架。

BibTeX

如果我们的工作对您的研究有帮助，请考虑引用：

@misc{scepter,
    title = {SCEPTER, https://github.com/modelscope/scepter},
    author = {SCEPTER},
    year = {2023}
}

许可

此项目使用 Apache License (Version 2.0) 许可。

致谢

感谢 Stability-AI、 SWIFT library 和 Fooocus 的出色工作。