深度学习模型部署docker+TensorFlow Serving

系统环境：

1、按照docker，官网有详细步骤，根据自己的系统选择相关教程就可。

2、镜像拉取

docker pull tensorflow/serving

如果超时可以使用国内镜像。

docker pull registry.docker-cn.com/tensorflow/serving

出现如下类似画面则表示成功。

3.克隆仓库，创建文件目录并克隆仓库

mkdir -p /tmp/tfserving
cd /tmp/tfserving
git clone --depth=1 https://github.com/tensorflow/serving

4.运行测试

可以进入刚才创建的文件夹里面看见测试数据。

运行容器

docker run -p 8501:8501 -v /tmp/tfserving/serving/tensorflow_serving/servables/tensorflow/testdata/saved_model_half_plus_three:/models/half_plus_three -e MODEL_NAME=half_plus_three -t registry.docker-cn.com/tensorflow/serving &

-p, --publish=[] 指定容器暴露的端口

-v, --volume=[] 给容器挂载存储卷，挂载到容器的某个目录

-e, --env=[] 指定环境变量，容器中可以使用该环境变量

-t: 为容器重新分配一个伪输入终端，通常与 -i 同时使用；

查看镜像名称，即是-t后的参数

docker images

5.预测

curl -d '{"instances": [1.0, 2.0, 5.0]}' -X POST http://localhost:8501/v1/models/half_plus_three:predict

返回结果