使用tensorflow-serving部署模型

MySQL机器学习算法

TensorFlow训练好的模型以tensorflow原生方式保存成protobuf文件后可以用许多方式部署运行。

例如:通过 tensorflow-js 可以用javascrip脚本加载模型并在浏览器中运行模型。

通过 tensorflow-lite 可以在移动和嵌入式设备上加载并运行TensorFlow模型。

通过 tensorflow-serving 可以加载模型后提供网络接口API服务,通过任意编程语言发送网络请求都可以获取模型预测结果。

通过 tensorFlow for Java接口,可以在Java或者spark(scala)中调用tensorflow模型进行预测。

我们主要介绍tensorflow serving部署模型、使用spark(scala)调用tensorflow模型的方法。

本篇介绍使用tensorflow serving部署模型的方法。

〇,tensorflow-serving部署模型概述

使用 tensorflow serving 部署模型要完成以下步骤。

  • (1) 准备protobuf模型文件。
  • (2) 安装tensorflow serving。
  • (3) 启动tensorflow serving 服务。
  • (4) 向API服务发送请求,获取预测结果。

可通过以下colab链接测试效果《tf_serving》:

https://colab.research.google.com/drive/1vS5LAYJTEn-H0GDb1irzIuyRB8E3eWc8


          
%tensorflow_version 2.x  
import tensorflow as tf  
print(tf.__version__)  
from tensorflow.keras import *   

      

一,准备protobuf模型文件

我们使用tf.keras 训练一个简单的线性回归模型,并保存成protobuf文件。


          
import tensorflow as tf  
from tensorflow.keras import models,layers,optimizers  
  
## 样本数量  
n = 800  
  
## 生成测试用数据集  
X = tf.random.uniform([n,2],minval=-10,maxval=10)   
w0 = tf.constant([[2.0],[-1.0]])  
b0 = tf.constant(3.0)  
  
Y = X@w0 + b0 + tf.random.normal([n,1],  
    mean = 0.0,stddev= 2.0) # @表示矩阵乘法,增加正态扰动  
  
## 建立模型  
tf.keras.backend.clear_session()  
inputs = layers.Input(shape = (2,),name ="inputs") #设置输入名字为inputs  
outputs = layers.Dense(1, name = "outputs")(inputs) #设置输出名字为outputs  
linear = models.Model(inputs = inputs,outputs = outputs)  
linear.summary()  
  
## 使用fit方法进行训练  
linear.compile(optimizer="rmsprop",loss="mse",metrics=["mae"])  
linear.fit(X,Y,batch_size = 8,epochs = 100)    
  
tf.print("w = ",linear.layers[1].kernel)  
tf.print("b = ",linear.layers[1].bias)  
  
## 将模型保存成pb格式文件  
export_path = "./data/linear\_model/"  
version = "1"       #后续可以通过版本号进行模型版本迭代与管理  
linear.save(export_path+version, save_format="tf")   

      

          
# 查看模型文件相关信息  
!saved_model_cli show --dir {export_path+str(version)} --all  

      

模型文件信息中这些标红的部分都是后面有可能会用到的。

picture.image

二,安装tensorflow serving

通过Docker镜像安装是最简单,最直接的方法,推荐采用。

Docker可以理解成一种容器,其上面可以给各种不同的程序提供独立的运行环境。

一般业务中用到tensorflow的企业都会有运维同学通过Docker 搭建 tensorflow serving.无需算法工程师同学动手安装,以下安装过程仅供参考。

不同操作系统机器上安装Docker的方法可以参照以下链接。

安装Docker成功后,使用如下命令加载 tensorflow/serving 镜像到Docker中

docker pull tensorflow/serving

三,启动 tensorflow serving 服务


          
!docker run -t --rm -p 8501:8501 \  
    -v "/Users/.../data/linear\_model/" \  
    -e MODEL_NAME=linear_model \  
    tensorflow/serving & >server.log 2>&1  

      

四,向API服务发送请求

可以使用任何编程语言的http功能发送请求,下面示范linux的 curl 命令发送请求,以及Python的requests库发送请求。


          
!curl -d '{"instances": [1.0, 2.0, 5.0]}' \  
    -X POST http://localhost:8501/v1/models/linear_model:predict  

      

picture.image


          
import json,requests  
  
data = json.dumps({"signature\_name": "serving\_default", "instances": [[1.0, 2.0], [5.0,7.0]]})  
headers = {"content-type": "application/json"}  
json_response = requests.post('http://localhost:8501/v1/models/linear\_model:predict',   
        data=data, headers=headers)  
predictions = json.loads(json_response.text)["predictions"]  
print(predictions)  

      

picture.image

picture.image

picture.image

picture.image

猜你喜欢❤️:

公众号后台回复关键字: tensorflow ,获取本书github项目源码和对应数据集!

picture.image

0
0
0
0
关于作者
关于作者

文章

0

获赞

0

收藏

0

相关资源
从 ClickHouse 到 ByteHouse
《从ClickHouse到ByteHouse》白皮书客观分析了当前 ClickHouse 作为一款优秀的开源 OLAP 数据库所展示出来的技术性能特点与其典型的应用场景。
相关产品
评论
未登录
看完啦,登录分享一下感受吧~
暂无评论