PPL LLM 服务

概述

ppl.llm.serving 是 PPL.LLM 系统的一部分。

系统概览

我们建议不熟悉此项目的用户阅读系统概览。

ppl.llm.serving 是一个基于 ppl.nn 的服务，用于各种大型语言模型(LLMs)。该存储库包含一个基于 gRPC 的服务器和对 LLaMA 的推理支持。

先决条件

运行在 x86_64 或 arm64 CPU 上的 Linux 系统
GCC >= 9.4.0
CMake >= 3.18
Git >= 2.7.0
CUDA Toolkit >= 11.4，推荐 11.6（用于 CUDA）

快速开始

这是一个简短的教程，更多详情请参阅 LLaMA 指南。

安装先决条件（以 Debian 或 Ubuntu 为例）
```
apt-get install build-essential cmake git
```

克隆源代码

git clone https://github.com/openppl-public/ppl.llm.serving.git

从源代码构建

./build.sh -DPPLNN_USE_LLM_CUDA=ON -DPPLNN_CUDA_ENABLE_NCCL=ON -DPPLNN_ENABLE_CUDA_JIT=OFF -DPPLNN_CUDA_ARCHITECTURES="'80;86;87'" -DPPLCOMMON_CUDA_ARCHITECTURES="'80;86;87'"

如果使用多个 GPU 设备，则需要 NCCL。

导出模型

详情请参阅 ppl.pmx。
运行服务器
```
./ppl-build/ppl_llama_server /path/to/server/config.json
```
服务器配置示例可以在 src/models/llama/conf 中找到。在运行服务器之前，您需要提供正确的值。
- model_dir：由 ppl.pmx 导出的模型路径。
- model_param_path：模型参数。$model_dir/params.json。
- tokenizer_path：sentencepiece 的分词器文件。
运行客户端：通过 gRPC 发送请求以查询模型
```
./ppl-build/client_sample 127.0.0.1:23333
```
更多详情请参阅 tools/client_sample.cc。
基准测试
```
./ppl-build/client_qps_measure --target=127.0.0.1:23333 --tokenizer=/path/to/tokenizer/path --dataset=tools/samples_1024.json --request_rate=inf
```
更多详情请参阅 tools/client_qps_measure.cc。--request_rate 是每秒请求数，值 inf 表示无间隔发送所有客户端请求。
离线运行推理：
```
./ppl-build/offline_inference /path/to/server/config.json
```
更多详情请参阅 tools/offline_inference.cc。