TensorFlow Serving入门指南 - 灵活高效的机器学习模型服务系统

serving

TensorFlow Serving入门指南 - 灵活高效的机器学习模型服务系统

TensorFlow Serving是一个专为生产环境设计的灵活高性能机器学习模型服务系统。它主要处理机器学习的推理阶段,可以管理训练后模型的生命周期,并通过高性能的查找表为客户端提供版本化访问。虽然TensorFlow Serving原生支持TensorFlow模型,但也可以很容易地扩展以服务其他类型的模型和数据。

TensorFlow Serving架构图

主要特性

TensorFlow Serving具有以下几个关键特性:

支持同时服务多个模型或同一模型的多个版本
提供gRPC和HTTP推理端点
无需更改客户端代码即可部署新模型版本
支持新版本的金丝雀发布和实验模型的A/B测试
高效低开销的实现,为推理时间增加最小延迟
具有可配置延迟控制的调度器,将单个推理请求分组到批处理中以在GPU上联合执行
支持多种"可服务项":TensorFlow模型、嵌入、词汇表、特征转换,甚至非TensorFlow的机器学习模型

60秒内服务TensorFlow模型

TensorFlow Serving提供了非常简单的方法来快速部署模型。以下是一个60秒内部署模型的示例:

# 下载TensorFlow Serving Docker镜像和代码库
docker pull tensorflow/serving
git clone https://github.com/tensorflow/serving

# 设置演示模型位置
TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"

# 启动TensorFlow Serving容器并开放REST API端口 
docker run -t --rm -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    tensorflow/serving &

# 使用predict API查询模型
curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# 返回 => { "predictions": [2.5, 3.0, 4.5] }