S-LoRA：同时服务数千个并发LoRA适配器 [论文]

最新消息

公平调度器VTC（论文）已集成到S-LoRA中。请参阅文件slora/server/router/vtc_req_queue.py。

摘要

"预训练-微调"范式在大型语言模型的部署中被广泛采用。低秩适配（LoRA），一种参数高效的微调方法，常用于将基础模型适配到多种任务，从而产生大量基于一个基础模型的LoRA适配器。我们观察到，这种范式在服务过程中为批量推理提供了重要机会。为了利用这些机会，我们提出了S-LoRA，一个旨在可扩展服务多个LoRA适配器的系统。S-LoRA将所有适配器存储在主内存中，并将当前运行查询所使用的适配器提取到GPU内存中。为了高效利用GPU内存并减少碎片化，S-LoRA提出了统一分页技术。统一分页使用统一内存池来管理不同秩的动态适配器权重和不同序列长度的KV缓存张量。此外，S-LoRA采用了新颖的张量并行策略和高度优化的自定义CUDA内核，用于LoRA计算的异构批处理。这些特性共同使S-LoRA能够在单个GPU或多个GPU上以较小的开销服务数千个LoRA适配器。与最先进的库（如HuggingFace PEFT和vLLM（具有基本的LoRA服务支持））相比，S-LoRA可以将吞吐量提高多达4倍，并将服务的适配器数量提高几个数量级。因此，S-LoRA实现了大规模服务特定任务微调模型的能力，并为大规模定制微调服务提供了潜力。

要求

兼容CUDA 11.8的GPU
- 推荐：支持bfloat16操作的Ampere系列GPU，如A100。
- 注意：不支持bfloat16的较旧GPU，如Turing系列的T4，不受支持。
1.13 <= PyTorch <= 2.0.1

安装

conda create -n slora python=3.9
conda activate slora 
# 可选：通过conda安装CUDA以获得更顺畅的安装体验，
# 但您可能需要手动设置Anaconda路径变量。
# conda install cuda -c nvidia/label/cuda-11.8.0
# 设置环境变量：export TORCH_CUDA_ARCH_LIST="8.0 8.6"
pip install torch==2.0.1
pip install -e .

确保triton==2.1.0

有关通过conda安装CUDA的更多详细信息，请参阅NVIDIA的CUDA安装指南。

示例运行

真实模型权重

cd benchmarks
python launch_server.py --num-adapter 100 --num-token 10000 --model-setting Real
python run_exp.py --debug --model-setting Real

虚拟权重

cd benchmarks
python launch_server.py --num-adapter 100 --num-token 10000 --dummy
python run_exp.py --debug

测试

cd test/test_e2e
python launch_server.py
python run_exp.py

方法

统一分页：为减少内存碎片化并增加批处理大小，S-LoRA引入了统一内存池。这个池通过统一分页机制管理动态适配器权重和KV缓存张量。

异构批处理：为最小化批处理不同秩适配器时的延迟开销，S-LoRA采用高度优化的自定义CUDA内核。这些内核直接在非连续内存上操作，并与内存池设计相匹配，促进额外LoRA计算的高效批量推理。
S-LoRA张量并行：为确保在多个GPU上的有效并行化，S-LoRA引入了新颖的张量并行策略。与基础模型相比，这种方法为额外的LoRA计算带来的通信成本最小。这是通过在小的中间张量上调度通信并将其与基础模型的通信融合来实现的。

评估

设置

模型设置：

设置	基础模型	隐藏层大小	适配器秩
S1	Llama-7B	4096	{8}
S2	Llama-7B	4096	{64, 32, 16, 8}
S4	Llama-13B	5120	{64, 32, 16}
S5	Llama-30B	7168	{32}
S6	Llama-70B	8192	{64}

基准：

PEFT代表HuggingFace PEFT：我们使用它构建一个服务器，该服务器批处理单个适配器请求，并在批次之间切换适配器权重。

vLLM-packed：由于vLLM不支持LoRA，我们将LoRA权重合并到基础模型中，并分别服务多个版本的合并权重。为了服务m个LoRA适配器，我们在单个GPU上运行m个vLLM工作者，其中多个工作者是由NVIDIA MPS管理的独立进程。

S-LoRA-no-unify-mem：不使用统一分页的S-LoRA。

S-LoRA-bmm：不使用统一分页和自定义内核的S-LoRA。它将适配器权重复制到连续内存空间，并使用填充执行批量矩阵乘法。

有关合成工作负载的跟踪，请参阅我们的论文。

结果

我们将S-LoRA与vLLM-packed和HuggingFace PEFT进行比较，以服务多个LoRA适配器。

与自身变体的比较。

我们测试了张量并行策略的可扩展性。

致谢

SLoRA基于LightLLM构建。

在开发S-LoRA时，我们还从以下项目中学到了很多：

路线图

发布张量并行实现
清理可复现脚本
更加用户友好的API/前端
支持更多模型

引用

@article{sheng2023slora,
  title={S-LoRA: Serving Thousands of Concurrent LoRA Adapters},
  author={Sheng, Ying and Cao, Shiyi and Li, Dacheng and Hooper, Coleman and Lee, Nicholas and Yang, Shuo and Chou, Christopher and Zhu, Banghua and Zheng, Lianmin and Keutzer, Kurt and Gonzalez, Joseph E. and Stoica, Ion},
  journal={arXiv preprint arXiv:2311.03285},
  year={2023}
}

@article{sheng2023fairness,
  title={Fairness in Serving Large Language Models},
  author={Sheng, Ying and Cao, Shiyi and Li, Dacheng and Zhu, Banghua and Li, Zhuohan and Zhuo, Danyang and Gonzalez, Joseph E and Stoica, Ion},
  journal={arXiv preprint arXiv:2401.00588},
  year={2023}
}