lorax

lorax 项目介绍

Lorax 是一种创新的框架，旨在帮助用户在单个 GPU 上运行成千上万的微调模型，这极大地降低了服务成本，同时不影响吞吐量或延迟。这个项目尤其对那些需要在有限资源下进行大规模模型推理的用户特别有用。

🌳 项目特色

动态适配器加载：用户可以从 HuggingFace、Predibase 或任何文件系统中请求加载任何微调的 LoRA 适配器。系统支持按需加载适配器，不会阻塞并发请求，并可以即时创建强大的模型组合。
异构连续批处理：将不同适配器的请求打包到同一批次中，不受并发适配器数量的影响，保持延迟和吞吐量几乎恒定。
适配器交换调度：在 GPU 和 CPU 内存之间异步预取和卸载适配器，通过请求批处理调度来优化系统的整体吞吐量。
优化推理：高吞吐量、低延迟的优化，包括张量并行、预编译的 CUDA 内核（如闪存注意力、分页注意力、SGMV）、量化、令牌流等。
生产就绪：提供预构建的 Docker 镜像、Kubernetes 的 Helm 图表、Prometheus 指标和使用 Open Telemetry 的分布式跟踪。支持与 OpenAI 兼容的 API 多轮聊天对话。提供通过请求隔离的私有适配器和结构化输出（JSON 模式）。
免费商用：基于 Apache 2.0 许可证，提供商业使用授权。

🏠 支持模型

在使用 Lorax 进行模型服务时，主要涉及两个组件：

基础模型：经过训练的大型模型，为所有适配器共享。
适配器：特定任务的适配器权重，根据请求动态加载。

Lorax 支持多种大型语言模型作为基础模型，包括 Llama、Mistral 和 Qwen 等。模型可以加载为 fp16 精度，或通过 bitsandbytes、GPT-Q 或 AWQ 进行量化。支持的适配器包括使用 PEFT 和 Ludwig 库训练的 LoRA 适配器。

🏃‍♂️ 快速开始

要开始使用 Lorax，推荐使用我们预构建的 Docker 镜像，避免自行编译 CUDA 内核等复杂步骤。

系统要求

运行 Lorax 的最低系统要求包括：

Nvidia GPU（Ampere 架构或以上）
CUDA 11.8 兼容的设备驱动程序
Linux 操作系统
Docker

启动 Lorax 服务器

首先，安装 nvidia-container-toolkit，然后执行以下命令以重启 Docker 服务：

sudo systemctl daemon-reload
sudo systemctl restart docker

接着，运行如下命令启动 Lorax 服务器：

model=mistralai/Mistral-7B-Instruct-v0.1
volume=$PWD/data

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data \
    ghcr.io/predibase/lorax:main --model-id $model

通过 REST API 提示

可以通过 REST API 来与基础模型或 LoRA 适配器进行交互。以下示例展示了如何使用该 API：

提示基础模型

curl 127.0.0.1:8080/generate \
    -X POST \
    -d '{
        "inputs": "[INST] Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? [/INST]",
        "parameters": {
            "max_new_tokens": 64
        }
    }' \
    -H 'Content-Type: application/json'

提示 LoRA 适配器

curl 127.0.0.1:8080/generate \
    -X POST \
    -d '{
        "inputs": "[INST] Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? [/INST]",
        "parameters": {
            "max_new_tokens": 64,
            "adapter_id": "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
        }
    }' \
    -H 'Content-Type: application/json'

使用 Python 客户端提示

Lorax 还支持通过 Python 客户端进行模型提示。以下是安装和使用示例：

安装

pip install lorax-client

运行示例

from lorax import Client

client = Client("http://127.0.0.1:8080")

# 提示基础模型
prompt = "[INST] Natalia sold clips to 48 of her friends in April, and then she sold half as many clips in May. How many clips did Natalia sell altogether in April and May? [/INST]"
print(client.generate(prompt, max_new_tokens=64).generated_text)

# 提示 LoRA 适配器
adapter_id = "vineetsharma/qlora-adapter-Mistral-7B-Instruct-v0.1-gsm8k"
print(client.generate(prompt, max_new_tokens=64, adapter_id=adapter_id).generated_text)

通过 OpenAI API 进行聊天

Lorax 还支持通过与 OpenAI 兼容的 API 进行多轮对话。以下示例展示了如何使用该功能：

from openai import OpenAI

client = OpenAI(
    api_key="EMPTY",
    base_url="http://127.0.0.1:8080/v1",
)

resp = client.chat.completions.create(
    model="alignment-handbook/zephyr-7b-dpo-lora",
    messages=[
        {
            "role": "system",
            "content": "You are a friendly chatbot who always responds in the style of a pirate",
        },
        {"role": "user", "content": "How many helicopters can a human eat in one sitting?"},
    ],
    max_tokens=100,
)
print("Response:", resp.choices[0].message.content)