这个仓库包含了用于Stable Diffusion的训练、生成和实用脚本。
如需更易用的版本(带GUI和PowerShell脚本等),请访问由bmaltais维护的仓库。感谢@bmaltais!
这个仓库包含以下脚本:
该文件不包含PyTorch的要求。因为PyTorch的版本取决于环境,所以没有包含在文件中。请先根据环境安装PyTorch。请参阅下面的安装说明。
这些脚本已在Pytorch 2.1.2上测试。2.0.1和1.12.1未经测试但应该可以工作。
大多数文档都是用日语写的。
darkstorm2150的英文翻译在这里。感谢darkstorm2150!
Python 3.10.6和Git:
给powershell无限制的脚本访问权限以使venv工作:
Set-ExecutionPolicy Unrestricted
并回答A打开一个普通的Powershell终端并在其中输入以下内容:
git clone https://github.com/kohya-ss/sd-scripts.git cd sd-scripts python -m venv venv .\venv\Scripts\activate pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu118 pip install --upgrade -r requirements.txt pip install xformers==0.0.23.post1 --index-url https://download.pytorch.org/whl/cu118 accelerate config
如果python -m venv
只显示python
,请将python
更改为py
。
注意: 现在bitsandbytes==0.43.0
、prodigyopt==1.0
和lion-pytorch==0.0.6
已包含在requirements.txt中。如果你想使用其他版本,请手动安装。
此安装适用于CUDA 11.8。如果使用不同版本的CUDA,请安装适当版本的PyTorch和xformers。例如,如果使用CUDA 12,请安装pip install torch==2.1.2 torchvision==0.16.2 --index-url https://download.pytorch.org/whl/cu121
和pip install xformers==0.0.23.post1 --index-url https://download.pytorch.org/whl/cu121
。
accelerate config的回答:
- 这台机器 - 无分布式训练 - NO - NO - NO - all - fp16
如果你想使用bf16,请在最后一个问题回答bf16
。
注意:有些用户报告在训练中出现ValueError: fp16 mixed precision requires a GPU
。在这种情况下,对第6个问题回答0
:
这台机器上应该使用哪些GPU(按id)进行训练,以逗号分隔列表? [all]:
(将使用id为0
的单个GPU。)
当新版本发布时,你可以使用以下命令升级你的仓库:
cd sd-scripts git pull .\venv\Scripts\activate pip install --use-pep517 --upgrade -r requirements.txt
命令成功完成后,你应该可以使用新版本了。
如果你想升级PyTorch,可以使用Windows安装部分的pip install
命令进行升级。升级PyTorch时也需要升级xformers
。
LoRA的实现基于cloneofsimo的仓库。感谢出色的工作!
LoRA扩展到Conv2d 3x3最初由cloneofsimo发布,其有效性在KohakuBlueleaf的LoCon中得到了证明。非常感谢KohakuBlueleaf!
大多数脚本采用ASL 2.0许可(包括来自Diffusers、cloneofsimo和LoCon的代码),但项目的某些部分可能采用单独的许可条款:
Memory Efficient Attention Pytorch: MIT
bitsandbytes: MIT
BLIP: BSD-3-Clause
cache_latents.py
和cache_text_encoder_outputs.py
不工作的问题。(将包含在下一个版本中。)huber_schedule
的默认值从exponential
改为snr
,预期会产生更好的结果。imagesize
,如果你不能立即更新库,请单独用pip install imagesize==1.4.1
安装。bitsandbytes==0.43.0
、prodigyopt==1.0
、lion-pytorch==0.0.6
已包含在requirements.txt中。
bitsandbytes
不再需要复杂的步骤,因为它现在正式支持Windows。.toml
)中写入wandb API密钥和HuggingFace令牌。感谢bghira提出这个问题。
--console_log_simple
选项以禁用富日志记录。train_network.py
和sdxl_train_network.py
,以在训练模型的元数据中记录一些数据集设置(caption_prefix
、caption_suffix
、keep_tokens_separator
、secondary_separator
、enable_wildcard
)。train_network.py
和sdxl_train_network.py
中U-Net和文本编码器包含在状态中的错误。状态的保存和加载更快,文件大小更小,加载时的内存使用量减少。--noise_offset_random_strength
和--ip_noise_gamma_random_strength
选项。这些选项可用于在0到指定值的范围内改变噪声偏移和ip噪声gamma。PR #1177 感谢KohakuBlueleaf!--save_state_on_train_end
选项。PR #1168 感谢gesen2egee!--sample_every_n_epochs
和--sample_every_n_steps
选项现在在指定小于等于0
的数字时会显示警告并忽略它们。感谢S-Del提出这个问题。.toml
文件。PR #1167 感谢Horizon1704!secondary_separator
以指定不是洗牌或丢弃目标的标签分隔符。
secondary_separator=";;;"
。当指定secondary_separator
时,该部分不会被洗牌或丢弃。enable_wildcard
。设置为true
时,可以使用通配符表示法{aaa|bbb|ccc}
。多行标题也被启用。keep_tokens_separator
,可在标题中使用两次。当你指定keep_tokens_separator="|||"
时,由第二个|||
分隔的部分不会被洗牌或丢弃,并保留在末尾。caption_prefix
和caption_suffix
可以一起使用。首先处理caption_prefix
和caption_suffix
,然后依次处理enable_wildcard
、keep_tokens_separator
、洗牌和丢弃以及secondary_separator
。tag_image_by_wd14_tagger.py
中添加了对v3仓库的支持(仅--onnx
选项)。PR #1192 感谢sdbds!
新增的参数loss_type、huber_schedule和huber_c允许选择损失函数类型(Huber、平滑L1、MSE)、调度方法(指数、常数、SNR)和Huber参数。这使得可以根据数据集的特征进行优化。
详情请参见PR #1228。
loss_type
:指定损失函数类型。选择huber
表示Huber损失,smooth_l1
表示平滑L1损失,l2
表示MSE损失。默认为l2
,与之前相同。huber_schedule
:指定调度方法。选择exponential
、constant
或snr
。默认为snr
。huber_c
:指定Huber参数。默认为0.1
。请阅读Releases以了解最近的更新。
imagesize
,如果无法立即更新库,请单独运行pip install imagesize==1.4.1
进行安装。bitsandbytes==0.43.0
、prodigyopt==1.0
和lion-pytorch==0.0.6
现已包含在requirements.txt中。
bitsandbytes
现在正式支持Windows,不再需要复杂的步骤。--console_log_simple
选项以禁用rich日志记录。train_network.py
和sdxl_train_network.py
中,修改为在训练模型的元数据中记录部分数据集设置(caption_prefix
、caption_suffix
、keep_tokens_separator
、secondary_separator
、enable_wildcard
)。train_network.py
和sdxl_train_network.py
中,修复了state中包含U-Net和Text Encoder的错误。state的保存和加载速度更快,文件大小更小,加载时的内存使用量也减少了。--noise_offset_random_strength
和--ip_noise_gamma_random_strength
选项,分别在0~指定值的范围内变化noise offset和ip noise gamma。PR #1177 感谢KohakuBlueleaf。--save_state_on_train_end
选项,在训练结束时保存state。PR #1168 感谢gesen2egee。--sample_every_n_epochs
和--sample_every_n_steps
选项为0或更小的值时,现在会显示警告并忽略这些选项。感谢S-Del提出这个问题。secondary_separator
以指定不参与洗牌的标签分割标识符。例如指定secondary_separator=";;;"
。使用secondary_separator
分隔的部分在洗牌和drop时会作为一个整体处理。enable_wildcard
。设为true
时可以使用通配符表示法{aaa|bbb|ccc}
。多行标题也会启用。keep_tokens_separator
。例如,当指定keep_tokens_separator="|||"
时,如果标题为1girl, hatsune miku, vocaloid ||| stage, mic ||| best quality, rating: general
,则第二个|||
分隔的部分不会被洗牌和drop,而会保留在末尾。caption_prefix
和caption_suffix
功能一起使用。caption_prefix
和caption_suffix
首先处理,然后依次处理通配符、keep_tokens_separator
、洗牌和drop、secondary_separator
。tag_image_by_wd14_tagger.py
现在支持v3存储库(仅在指定--onnx
时有效)。PR #1192 感谢sdbds。
pip install onnx==1.15.0 onnxruntime-gpu==1.17.1
等进行安装或更新。另请参阅requirements.txt
中的注释。tag_image_by_wd14_tagger.py
现在将模型保存在--repo_id
的子目录中。这允许缓存多个模型文件。请删除--model_dir
直接下的不必要文件。tag_image_by_wd14_tagger.py
添加了几个选项。
--use_rating_tags
和--use_rating_tags_as_last_tag
输出评级标签--character_tags_first
首先输出角色标签--character_tag_expand
展开角色标签和系列--always_first_tags
指定始终首先输出的标签--tag_replacement
替换标签make_captions.py
在指定--beam_search
并将--num_beams
设置为2或更大值时的错误。各学习脚本现在支持掩码损失。要启用掩码损失,请指定--masked_loss
选项。
该功能尚未完全测试,可能存在错误。如果发现问题,请提出Issue。
掩码指定使用ControlNet数据集。掩码图像必须是RGB图像。R通道像素值255表示损失计算目标,0表示非损失计算目标。0-255的值会转换为0-1范围(即像素值128的部分损失权重为一半)。有关数据集的详细信息,请参见[LLLite文档]。
各学习脚本引入了Scheduled Huber Loss,这是一种提高学习数据中异常值和离群值(数据损坏)抵抗力的方法。
传统的MSE(L2)损失函数容易受到异常值的影响,可能导致生成图像质量下降。另一方面,Huber损失函数可以抑制异常值的影响,但往往会损害图像细节的再现性。 这种方法通过巧妙应用Huber损失函数,在学习的初期阶段(噪音较大时)使用Huber损失,而在后期阶段使用MSE,从而在异常值耐受性和细节重现性之间取得平衡。
实验结果表明,与纯Huber损失或MSE相比,这种方法在包含异常值的数据上能够达到更高的精度。而且计算成本的增加很小。
具体来说,新增的参数loss_type、huber_schedule和huber_c可以选择损失函数类型(Huber、smooth L1、MSE)和调度方法(指数型、常数型、SNR)。这使得可以根据数据集进行优化。
详情请参阅PR #1228。
loss_type
:指定损失函数类型。huber
选择Huber损失,smooth_l1
选择smooth L1损失,l2
选择MSE损失。默认为l2
,与之前相同。huber_schedule
:指定调度方法。exponential
选择指数函数型,constant
选择恒定型,snr
选择基于信噪比的调度。默认为snr
。huber_c
:指定Huber损失的参数。默认为0.1
。PR中分享了一些比较结果。如果要尝试这个功能,可以先试试--loss_type smooth_l1 --huber_schedule snr --huber_c 0.1
。
最新的更新信息请查看Release。
为避免混淆,train_network.py
支持的LoRA已被命名。文档已更新。以下是本仓库中LoRA类型的名称。
LoRA-LierLa:(用于线性层的LoRA)
用于线性层和1x1核的Conv2d层的LoRA
LoRA-C3Lier:(用于3x3核卷积层和线性层的LoRA)
除1.外,还包括用于3x3核Conv2d层的LoRA
LoRA-LierLa是train_network.py
的默认LoRA类型(不带conv_dim
网络参数)。
提示文件可能如下所示:
# 提示1
masterpiece, best quality, (1girl), in white shirts, upper body, looking at viewer, simple background --n low quality, worst quality, bad anatomy,bad composition, poor, low effort --w 768 --h 768 --d 1 --l 7.5 --s 28
# 提示2
masterpiece, best quality, 1boy, in business suit, standing at street, looking back --n (low quality, worst quality), bad anatomy,bad composition, poor, low effort --w 576 --h 832 --d 2 --l 5.5 --s 40
以#
开头的行是注释。你可以在提示后使用如--n
的选项来指定生成图像的选项。可以使用以下选项:
--n
负面提示,直到下一个选项。--w
指定生成图像的宽度。--h
指定生成图像的高度。--d
指定生成图像的种子。--l
指定生成图像的CFG比例。--s
指定生成的步数。提示权重如( )
和[ ]
是有效的。
一键生成PPT和Word,让学习生活更轻松
讯飞智文是一个利用 AI 技术的项目,能够帮助用户生成 PPT 以及各类文档。无论是商业领域的市场分析报告、年度目标制定,还是学生群体的职业生涯规划、实习避坑指南,亦或是活动策划、旅游攻略等内容,它都能提供支持,帮助用户精准表达,轻松呈现各种信息。
深度推理能力全新升级,全面对标OpenAI o1
科大讯飞的星火大模型,支持语言理解、知识问答和文本创作等多功能,适用于多种文件和业务场景,提升办公和日常生活的效率。讯飞星火是一个提供丰富智能服务的平台,涵盖科技资讯、图像创作、写作辅助、编程解答、科研文献解读等功能,能为不同需求的用户提供便捷高效的帮助,助力用户轻松获取信息、解决问题,满足多样化使用场景。
一种基于大语言模型的高效单流解耦语音令牌文本到语音合成模型
Spark-TTS 是一个基于 PyTorch 的开源文本到语音合成项目,由多个知名机构联合参与。该项目提供了高效的 LLM(大语言模型)驱动的语音合成方案,支持语音克隆和语音创建功能,可通过命令行界面(CLI)和 Web UI 两种方式使用。用户可以根据需求调整语音的性别、音高、速度等参数,生成高质量的语音。该项目适用于多种场景,如有声读物制作、智能语音助手开发等。
字节跳动发布的AI编程神器IDE
Trae是一种自适应的集成开发环境(IDE),通过自动化和多元协作改变开发流程。利用Trae,团队能够更快速、精确地编写和部署代码,从而提高编程效率和项目交付速度。Trae具备上下文感知和代码自动完成功能,是提升开发效率的理想工具。
AI助力,做PPT更简单!
咔片是一款轻量化在线演示设计工具,借助 AI 技术,实现从内容生成到智能设计的一站式 PPT 制作服务。支持多种文档格式导入生成 PPT,提供海量模板、智能美化、素材替换等功能,适用于销售、教师、学生等各类人群,能高效制作出高品质 PPT,满足不同场景演示需求。
选题、配图、成文,一站式创作,让内容运营更高效
讯飞绘文,一个AI集成平台,支持写作、选题、配图、排版和发布。高效生成适用于各类媒体的定制内容,加速品牌传播,提升内容营销效果。
专业的AI公文写作平台,公文写作神器
AI 材料星,专业的 AI 公文写作辅助平台,为体制内工作人员提供高效的公文写作解决方案。拥有海量公文文库、9 大核心 AI 功能,支持 30 + 文稿类型生成,助力快速完成领导讲话、工作总结、述职报告等材料,提升办公效率,是体制打工人的得力写作神器。
OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。
openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。
高分辨率纹理 3D 资产生成
Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。
一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。
3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。