LyCORIS: 一种革命性的Stable Diffusion微调方法

LyCORIS简介

LyCORIS(Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion)是一个为Stable Diffusion模型设计的参数高效微调框架。它源于LoRA(Low-Rank Adaptation)技术,但远远超越了传统的LoRA方法,实现了多种创新的低秩适应算法。

LyCORIS项目最初源于LoCon,但现已发展成为一个功能丰富的微调工具集。它实现了包括LoRA(LoCon)、LoHa、LoKr、(IA)^3、DyLoRA等在内的多种算法,为用户提供了更多的选择和更强大的微调能力。

作为一个开源项目,LyCORIS得到了社区的广泛关注和支持。目前该项目在GitHub上已获得超过2100颗星,吸引了140多个分支。活跃的社区不仅推动了项目的持续发展,也为用户提供了丰富的资源和支持。

LyCORIS的核心优势

相比传统的微调方法,LyCORIS具有以下几个显著优势:

1. 算法多样性:实现了多种先进的参数高效微调算法,如LoHa、LoKr等,为不同场景提供更多选择。

2. 高效性:通过低秩表示等技术,大幅降低了微调所需的计算资源和存储空间。

3. 灵活性:支持对模型的不同部分进行有针对性的微调,可以更精准地调整模型行为。

4. 通用性:不仅适用于Stable Diffusion,还可用于其他深度学习模型的微调。

5. 易用性:提供了多种训练和推理接口,方便集成到现有工作流程中。

主要算法对比

LyCORIS实现的多种算法各有特点,下面对其中几种主要算法进行简要对比:

★ > ◉ > ● > ▲ (★表示最好,▲表示最差)

需要注意的是,各算法的实际表现可能因数据集、任务和超参数设置而有所不同。建议用户根据具体需求进行实验,以找到最适合的算法和参数配置。

LyCORIS的使用方法

图像生成

LyCORIS模型可以在多个主流的Stable Diffusion WebUI和在线生成服务中使用:

1. SD WebUI: 从1.5.0版本开始,SD WebUI原生支持LyCORIS模型。用户只需将模型文件放入models/Lora或models/LyCORIS目录,然后使用<lora:filename:multiplier>语法即可触发。

2. 其他界面: ComfyUI、InvokeAI等项目也支持LyCORIS模型。

3. 在线服务: CivitAI、Tensor.Art等平台已集成LyCORIS支持。

模型训练

LyCORIS提供了多种训练方式:

1. kohya-ss/sd-scripts: 这是最常用的训练方法,支持命令行参数和toml配置文件两种方式。

   accelerate launch train_network.py \
     --network_module lycoris.kohya \
     --network_dim "DIM_FOR_LINEAR" --network_alpha "ALPHA_FOR_LINEAR"\
     --network_args "conv_dim=DIM_FOR_CONV" "conv_alpha=ALPHA_FOR_CONV" \
     "dropout=DROPOUT_RATE" "algo=locon" 

2. Naifu-Diffusion: 另一个支持LyCORIS训练的框架。

3. 独立包装器: LyCORIS可以作为独立的包装器用于任何PyTorch模块。

   from lycoris import create_lycoris, LycorisNetwork
   
   LycorisNetwork.apply_preset(
       {"target_name": [".*attn.*"]}
   )
   lycoris_net = create_lycoris(
       your_model, 
       1.0, 
       linear_dim=16, 
       linear_alpha=2.0, 
       algo="lokr"
   )
   lycoris_net.apply_to()

4. 图形界面和Colab: 多个项目提供了基于kohya trainer的图形界面和Colab笔记本,如bmaltais/kohya_ss、Linaqruf/kohya-trainer等。

工具和实用程序

LyCORIS项目还提供了一些实用工具:

1. 提取LoCon: 从Dreambooth模型中提取LoCon。

   python3 extract_locon.py <settings> <base_model> <db_model> <output>

2. 合并LyCORIS: 将LyCORIS模型合并回基础模型。

   python3 merge.py <settings> <base_model> <lycoris_model> <output>

3. 格式转换: 提供了在HCP和sd-webui格式之间转换LoRA、LyCORIS和完整模型的脚本。

   python3 batch_hcp_convert.py \
     --network_path /path/to/ckpts \
     --dst_dir /path/to/stable-diffusion-webui/models/Lora \
     --output_prefix something \
     --auto_scale_alpha --to_webui

4. Bundle格式转换: 特别适用于关键调优(pivotal tuning)场景。

   python3 batch_bundle_convert.py \
     --network_path /path/to/sd-webui-ssd/models/Lora  \
     --emb_path /path/to/ckpts \
     --dst_dir /path/to/sd-webui-ssd/models/Lora/bundle \
     --to_bundle --verbose 2 

最新进展

LyCORIS项目一直在快速发展。最近的3.0.0版本带来了重大更新:

1. 新的API: 引入了功能API、参数化API和模块API,为开发者提供更多灵活性。

2. 更好的兼容性: 移除了可选依赖,使库更易于集成。

3. 算法改进: 重写了DyLoRA、(IA)^3、GLoRA等算法,并增加了对Conv1d和Conv3d模块的支持。

4. 新特性: 添加了HunYuan DiT支持,修复了多个问题并改进了日志记录。

未来展望

LyCORIS团队计划在以下方面继续努力:

1. 自动算法选择: 根据特定的秩要求自动选择最佳算法。

2. 扩展应用范围: 探索在大型语言模型等其他任务上的应用。

3. 新算法研究: 探索其他低秩表示或参数高效方法。

4. 完善文档: 为整个库提供全面的文档。

结语

LyCORIS为Stable Diffusion和其他深度学习模型的微调带来了新的可能性。通过提供多种高效算法和灵活的使用方式,它使得模型定制变得更加简单和强大。无论是对于研究人员还是实践者,LyCORIS都是一个值得关注和尝试的项目。

随着项目的不断发展和社区的持续贡献,我们可以期待LyCORIS在未来带来更多创新和突破,为AI模型的微调和应用开辟新的道路。