SGLang: 高效的大型语言模型和视觉语言模型服务框架

sglang

SGLang简介

SGLang是一个为大型语言模型(LLM)和视觉语言模型(VLM)设计的高效服务框架。它通过巧妙地结合后端运行时和前端语言设计,使得模型交互变得更加快速和可控。SGLang的核心特性包括:

高效的后端运行时
灵活的前端语言

让我们深入了解SGLang的这两大核心组件。

高效的后端运行时

SGLang的后端运行时采用了多项先进技术来提升服务效率:

RadixAttention前缀缓存
跳跃前向受限解码
连续批处理
Token注意力(分页注意力)
张量并行
FlashInfer内核
量化(AWQ/FP8/GPTQ/Marlin)

这些技术的综合应用大大提升了模型推理的速度和效率。

灵活的前端语言

SGLang的前端语言设计灵活,易于使用,支持多种高级特性:

链式生成调用
高级提示工程
控制流
多模态支持
并行处理
外部交互

这些特性使得开发人员可以轻松构建复杂的LLM应用程序。

SGLang的最新进展

SGLang团队一直在持续改进和扩展该框架的功能。以下是一些最新的重要进展:

2024年9月: SGLang v0.3发布,DeepSeek MLA速度提升7倍,torch.compile速度提升1.5倍,支持多图像/视频的LLaVA-OneVision
2024年7月: 使用SGLang运行时实现更快的Llama3服务(相比TensorRT-LLM和vLLM)
2024年2月: SGLang通过压缩有限状态机实现3倍更快的JSON解码
2024年4月: SGLang被官方LLaVA-NeXT(视频)版本采用
2024年1月: SGLang通过RadixAttention实现高达5倍的推理加速
2024年1月: SGLang为官方LLaVA v1.6版本演示提供服务支持

这些进展充分展示了SGLang在性能优化和功能扩展方面的持续努力。

SGLang的安装

SGLang提供了多种安装方式,以满足不同用户的需求:

使用pip安装:

pip install --upgrade pip
pip install "sglang[all]"

# 安装FlashInfer CUDA内核
pip install flashinfer -i https://flashinfer.ai/whl/cu121/torch2.4/

从源代码安装:

git clone -b v0.3.0 https://github.com/sgl-project/sglang.git
cd sglang

pip install --upgrade pip
pip install -e "python[all]"

# 安装FlashInfer CUDA内核
pip install flashinfer -i https://flashinfer.ai/whl/cu121/torch2.4/

使用Docker:

docker run --gpus all \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct --host 0.0.0.0 --port 30000

使用Docker Compose
使用SkyPilot在Kubernetes或云上运行

每种安装方式都有其适用场景,用户可以根据自己的需求选择合适的方式。

SGLang Architecture

SGLang Runtime (SRT)

SGLang Runtime (SRT)是一个高效的服务引擎,是SGLang框架的核心组件之一。让我们来看看如何使用SRT:

快速开始

启动服务器:

python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct --port 30000

发送请求:

curl http://localhost:30000/generate \
  -H "Content-Type: application/json" \
  -d '{
    "text": "Once upon a time,",
    "sampling_params": {
      "max_new_tokens": 16,
      "temperature": 0
    }
  }'

OpenAI兼容API

SRT还支持OpenAI兼容的API,这使得从OpenAI API迁移变得非常简单:

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

# 文本补全
response = client.completions.create(
    model="default",
    prompt="The capital of France is",
    temperature=0,
    max_tokens=32,
)
print(response)

# 聊天补全
response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "You are a helpful AI assistant"},
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)
print(response)

# 文本嵌入
response = client.embeddings.create(
    model="default",
    input="How are you today",
)
print(response)

SRT支持流式处理、视觉功能,以及OpenAI API参考中指定的大多数Chat/Completions/Models/Batch端点功能。

其他服务器参数

SRT提供了多种参数来优化性能和资源使用:

使用--tp 2启用多GPU张量并行
使用--dp 2启用多GPU数据并行
使用--mem-fraction-static调整KV缓存池的内存使用
使用--chunked-prefill-size设置较小的分块预填充大小
使用--nnodes 2在多个节点上运行张量并行

这些参数允许用户根据硬件配置和具体需求来优化SGLang的性能。

支持的模型

SGLang支持广泛的生成模型和嵌入模型:

生成模型:

Llama / Llama 2 / Llama 3 / Llama 3.1
Mistral / Mixtral / Mistral NeMo
Gemma / Gemma 2
Qwen / Qwen 2 / Qwen 2 MoE
DeepSeek / DeepSeek 2
LLaVA-OneVision
LLaVA 1.5 / 1.6 / NeXT
Yi-VL
StableLM
Command-R
DBRX
Grok
ChatGLM
InternLM 2
Exaone 3

嵌入模型:

e5-mistral
gte-Qwen2

SGLang还支持从ModelScope加载模型,并提供了运行大规模模型(如Llama 3.1 405B)的指南。

Structured Generation Language (SGLang)

SGLang的前端语言可以与本地模型或API模型一起使用,是OpenAI API的替代方案。对于复杂的提示工作流程,SGLang可能更易于使用。

快速开始

让我们看一个使用SGLang回答多轮问题的例子:

使用本地模型:

from sglang import function, system, user, assistant, gen, set_default_backend, RuntimeEndpoint

@function
def multi_turn_question(s, question_1, question_2):
    s += system("You are a helpful assistant.")
    s += user(question_1)
    s += assistant(gen("answer_1", max_tokens=256))
    s += user(question_2)
    s += assistant(gen("answer_2", max_tokens=256))

set_default_backend(RuntimeEndpoint("http://localhost:30000"))

state = multi_turn_question.run(
    question_1="What is the capital of the United States?",
    question_2="List two local attractions.",
)

for m in state.messages():
    print(m["role"], ":", m["content"])

print(state["answer_1"])

使用OpenAI模型:

from sglang import function, system, user, assistant, gen, set_default_backend, OpenAI

@function
def multi_turn_question(s, question_1, question_2):
    s += system("You are a helpful assistant.")
    s += user(question_1)
    s += assistant(gen("answer_1", max_tokens=256))
    s += user(question_2)
    s += assistant(gen("answer_2", max_tokens=256))

set_default_backend(OpenAI("gpt-3.5-turbo"))

state = multi_turn_question.run(
    question_1="What is the capital of the United States?",
    question_2="List two local attractions.",
)

for m in state.messages():
    print(m["role"], ":", m["content"])

print(state["answer_1"])

语言特性

SGLang提供了多种强大的语言特性:

控制流: 可以在函数体内使用任何Python代码,包括控制流、嵌套函数调用和外部库。
并行处理: 使用fork启动并行提示。由于sgl.gen是非阻塞的,可以并行发出多个生成调用。
多模态: 使用sgl.image传递图像作为输入。
约束解码: 使用regex指定正则表达式作为解码约束。
JSON解码: 使用regex指定带有正则表达式的JSON模式。
批处理: 使用run_batch运行连续批处理的请求批次。
流式处理: 添加stream=True启用流式处理。
角色设置: 使用sgl.system、sgl.user和sgl.assistant设置聊天模型的角色。

这些特性使SGLang成为一个强大而灵活的工具,能够处理各种复杂的语言模型任务。

SGLang Performance

性能基准和优势

SGLang在性能方面表现出色。根据官方报告,SGLang在多个基准测试中都显示出明显的优势:

相比TensorRT-LLM和vLLM,SGLang在Llama3服务方面表现更快。
在JSON解码方面,SGLang通过压缩有限状态机实现了3倍的速度提升。
使用RadixAttention技术,SGLang实现了高达5倍的推理加速。

这些性能优势使SGLang成为处理大规模语言模型任务的理想选择,特别是在需要高吞吐量和低延迟的场景中。

未来发展路线

SGLang团队已经公布了2024年第三季度的开发路线图,显示了项目的持续发展方向。这包括进一步的性能优化、更多模型的支持、以及新功能的添加。

结论

SGLang作为一个高效的大型语言模型和视觉语言模型服务框架,通过其快速的后端运行时和灵活的前端语言,为开发人员提供了强大的工具来构建和部署复杂的AI应用。无论是在性能、易用性还是功能多样性方面,SGLang都展现出了显著的优势。

随着人工智能技术的不断发展,像SGLang这样的框架将在推动大规模语言模型的应用和创新方面发挥越来越重要的作用。对于那些希望在自己的项目中充分利用大型语言模型潜力的开发者来说,SGLang无疑是一个值得深入探索和使用的强大工具。

引用和致谢

如果您发现SGLang项目对您的工作有帮助,请引用论文《SGLang: Efficient Execution of Structured Language Model Programs》。SGLang的开发也得益于多个开源项目的启发和代码复用,包括Guidance、vLLM、LightLLM、FlashInfer、Outlines和LMQL等。这再次体现了开源社区在推动AI技术进步方面的重要作用。

总的来说,SGLang为大型语言模型的服务和应用开辟了新的可能性,它的持续发展值得我们密切关注。随着更多开发者和研究人员加入到SGLang的生态系统中,我们有