PyTriton

欢迎使用PyTriton，这是一个类似于Flask/FastAPI的框架，旨在简化在Python环境中使用NVIDIA的Triton推理服务器。PyTriton使得部署机器学习模型变得简单，支持直接从Python进行部署。

有关如何部署模型、优化性能以及探索API的全面指导，请深入查阅我们文档中的丰富资源。

功能概览

PyTriton的独特功能总结在以下特性矩阵中：

特性	描述
原生Python支持	您可以创建任何Python函数并将其作为HTTP/gRPC API暴露。
框架无关	您可以运行任何Python代码，使用您选择的任何框架，如PyTorch、TensorFlow或JAX。
性能优化	您可以受益于动态批处理、响应缓存、模型流水线、集群、性能追踪以及GPU/CPU推理。
装饰器	您可以使用批处理装饰器来处理推理函数的批处理和其他预处理任务。
简单的安装和设置	您可以使用基于Flask/FastAPI的简单熟悉的接口进行简单的安装和设置。
模型客户端	您可以访问用于HTTP/gRPC请求的高级模型客户端，具有可配置选项以及同步和异步API。
流式传输（alpha）	您可以通过解耦模式提供模型，从模型中流式传输部分响应。

了解更多关于PyTriton的架构。

先决条件

在安装PyTriton之前，请确保您的系统满足以下条件：

操作系统：兼容glibc版本2.35或更高。
- 主要在Ubuntu 22.04上测试。
- 其他支持的操作系统包括Debian 11+、Rocky Linux 9+和Red Hat UBI 9+。
- 使用ldd --version验证您的glibc版本。
Python：版本3.8或更新。
pip：版本20.3或更新。
libpython：确保安装了与您的Python版本相对应的libpython3.*.so。

安装

可以通过运行以下命令从pypi.org安装PyTriton：

pip install nvidia-pytriton

重要：Triton推理服务器二进制文件作为PyTriton包的一部分安装。

了解更多关于PyTriton的安装程序，包括Docker使用、先决条件，以及从源代码构建二进制文件以匹配您特定的Triton服务器版本的见解。

快速入门

快速入门展示了如何在Triton推理服务器中运行Python模型，无需更改当前工作环境。在示例中，我们使用一个简单的Linear模型。

infer_fn是一个接受data张量并返回包含单个输出张量的列表的函数。来自批处理装饰器的@batch用于处理模型的批处理。

import numpy as np
from pytriton.decorators import batch

@batch
def infer_fn(data):
    result = data * np.array([[-1]], dtype=np.float32)  # 处理输入并产生结果
    return [result]

在下一步中，您可以使用pyTriton的bind方法创建推理可调用和Triton推理服务器之间的绑定。此方法接受模型名称、推理可调用、输入和输出张量，以及可选的模型配置对象。

from pytriton.model_config import Tensor
from pytriton.triton import Triton
triton = Triton()
triton.bind(
    model_name="Linear",
    infer_func=infer_fn,
    inputs=[Tensor(name="data", dtype=np.float32, shape=(-1,)),],
    outputs=[Tensor(name="result", dtype=np.float32, shape=(-1,)),],
)
triton.run()

最后，您可以使用ModelClient类向模型发送推理查询。infer_sample方法接受输入数据作为numpy数组，并返回输出数据作为numpy数组。您可以在客户端部分了解更多关于ModelClient类的信息。

from pytriton.client import ModelClient

client = ModelClient("localhost", "Linear")
data = np.array([1, 2, ], dtype=np.float32)
print(client.infer_sample(data=data))

推理完成后，您可以停止Triton推理服务器并关闭客户端：

client.close()
triton.stop()

推理的输出应该是：

{'result': array([-1., -2.], dtype=float32)}

有关完整示例，包括定义模型并将其绑定到Triton服务器，请查看我们详细的快速入门说明。快速启动并运行您的模型，探索如何提供服务，并了解如何从客户端应用程序调用它。

完整的示例代码可以在examples/linear_random_pytorch中找到。

示例

示例页面展示了使用PyTriton提供模型服务的各种案例。您可以找到运行PyTorch、TensorFlow2、JAX和简单Python模型的简单示例。此外，我们还准备了更高级的场景，如在线学习、多节点模型或使用PyTriton在Kubernetes上部署。每个示例都包含描述如何构建和运行示例的说明。通过查看我们的示例，了解更多关于如何使用PyTriton。