【推荐算法工程师技术栈系列】分布式&数据库--tensorflow

TensorFlow 高阶API Tensorflow Serving 开发中遇到的其他问题记录

目录

• TensorFlow 高阶API
  • Dataset(tf.data)
  • Estimator(tf.estimator)
  • FeatureColumns(tf.feature_column)
  • tf.nn
  • tf.layers
  • tf.train
  • tf.linalg
  • checkpoint(模型保存与恢复)
• Tensorflow Serving
  • 官方例子
    • half_plus_two的例子
    • 创建自定义镜像
  • 架构
    • Source
    • Loader
    • Manager
    • Servable
  • 部署服务
    • 模型导出
      • tf.saved_model API
      • tf.estimator API
  • API请求(predict)
    • 请求格式
      • 以行的形式说明输入的tensor
      • 以列的形式说明输入的tensor
    • 返回格式
      • 行形式
      • 列形式
    • API demo
  • 源码理解
• 开发中遇到的其他问题记录
  • 实现numpy中的切片赋值
• 附录

TensorFlow 高阶API

Dataset(tf.data)

源码定义：tensorflow/python/data/ops/dataset_ops.py

用户向导：Dataset Input Pipeline

Dataset可以用来表示输入管道元素集合（张量的嵌套结构）和“逻辑计划“对这些元素的转换操作。在Dataset中元素可以是向量，元组或字典等形式。

另外，Dataset需要配合另外一个类Iterator进行使用，Iterator对象是一个迭代器，可以对Dataset中的元素进行迭代提取。

Iterator

源码定义：tensorflow/python/data/ops/iterator_ops.py

用户向导：Dataset Input Pipeline > Iterating over datasets

Estimator(tf.estimator)

源码定义：tensorflow/python/estimator/estimator.py

用户向导：Regression Examples

Estimator对象包装(wraps)由model_fn指定的模型,model_fn由给定输入和其他一些参数,返回需要进行训练、计算,或预测的操作.

所有输出(检查点,事件文件等)都被写入model_dir或其子目录.如果model_dir未设置,则使用临时目录.

可以通过RunConfig对象(包含了有关执行环境的信息)传递config参数.它被传递给model_fn,如果model_fn有一个名为“config”的参数(和输入函数以相同的方式).Estimator使得模型可配置化,并且还使用其一些字段来控制内部,特别是关于检查点的控制.

该params参数包含hyperparameter,如果model_fn有一个名为“PARAMS”的参数,并且以相同的方式传递给输入函数,则将它传递给model_fn. Estimator只是沿着参数传递,并不检查它.因此,params的结构完全取决于开发人员.

不能在子类中重写任何Estimator方法(其构造函数强制执行此操作).子类应使用model_fn来配置基类,并且可以添加实现专门功能的方法.

FeatureColumns(tf.feature_column)

源码定义：tensorflow/python/feature_column/feature_column.py

用户向导：feature_columns

feature_columns2

Feature cloumns是原始数据和Estimator模型之间的桥梁，它们被用来把各种形式的原始数据转换为模型能够使用的格式

tf.nn

激活函数op，loss部分抽象

源码定义：tensorflow/python/ops/gen_nn_ops.py

用户向导：Neural Network

tf.layers

网络模块抽象

tf.train

tf.train provides a set of classes and functions that help train models.

用户向导：Training

tf.linalg

TensorFlow 的线性代数库。

w3cschool TensorFlow官方文档-linalg

checkpoint(模型保存与恢复)

Estimator 将一个检查点保存到 model_dir 中后，每次调用 Estimator 的 train、eval 或 predict 方法时，都会发生下列情况：

a) Estimator 通过运行 model_fn() 构建模型图。（要详细了解 model_fn()，请参阅创建自定义 Estimator。）

b) Estimator 根据最近写入的检查点中存储的数据来初始化新模型的权重。

换言之，一旦存在检查点，TensorFlow 就会在您每次调用 train()、evaluate() 或 predict() 时重建模型。

Tensorflow Serving

官方例子

half_plus_two的例子

# Download the TensorFlow Serving Docker image and repo
docker pull tensorflow/serving

git clone https://github.com/tensorflow/serving
# Location of demo models
TESTDATA="$(pwd)/serving/tensorflow_serving/servables/tensorflow/testdata"

# Start TensorFlow Serving container and open the REST API port
# docker run -t 表示是否允许伪TTY
# docker run --rm表示如果实例已经存在，则先remove掉该实例再重新启动新实例
# docker -p设置端口映射
# docker -v设置磁盘映射
# docker -e设置环境变量
docker run -t --rm -p 8501:8501 \
    -v "$TESTDATA/saved_model_half_plus_two_cpu:/models/half_plus_two" \
    -e MODEL_NAME=half_plus_two \
    tensorflow/serving &

# Query the model using the predict API
curl -d \'{"instances": [1.0, 2.0, 5.0]}\' \
    -X POST http://localhost:8501/v1/models/half_plus_two:predict

# Returns => { "predictions": [2.5, 3.0, 4.5] }

serving镜像提供了两种调用方式：gRPC和HTTP请求。gRPC默认端口是8500，HTTP请求的默认端口是8501，serving镜像中的程序会自动加载镜像内/models下的模型，通过MODEL_NAME指定/models下的哪个模型。

创建自定义镜像

docker run --rm -p 8501:8501 \
    --mount type=bind,source=${model_dir},target=/models/dpp_model \
    -e MODEL_NAME=dpp_model -t tensorflow/serving &

官方文档

架构

TensorFlow Serving可抽象为一些组件构成，每个组件实现了不同的API任务，其中最重要的是Servable, Loader, Source, 和 Manager，我们看一下组件之间是如何交互的。

Source

TF Serving发现磁盘上的模型文件，该模型服务的生命周期就开始了。Source组件负责发现模型文件，找出需要加载的新模型。实际上，该组件监控文件系统，当发现一个新的模型版本，就为该模型创建一个Loader。

Loader

Loader需要知道模型的相关信息，包括如何加载模型如何估算模型需要的资源，包括需要请求的RAM、GPU内存。Loader带一个指针，连接到磁盘上存储的模型，其中包含加载模型需要的相关元数据。不过记住，Loader现在还不允许加载模型。

Manager

Manager收到待加载模型版本，开始模型服务流程。此处有两种可能性，第一种情况是模型首次推送部署，Manager先确保模型需要的资源可用，一旦获取相应的资源，Manager赋予Loader权限去加载模型。

第二种情况是为已上线模型部署一个新版本。Manager会先查询Version Policy插件，决定加载新模型的流程如何进行。

具体来说，当加载新模型时，可选择保持 (1) 可用性(the Availability Preserving Policy)或 (2) 资源(the Resource Preserving Policy)。

Servable

最后，当用户请求模型的句柄，Manager返回句柄给Servable。

Servables 是 TensorFlow Serving 中最核心的抽象，是客户端用于执行计算 (例如：查找或推断) 的底层对象。

部署服务

模型导出

将TensorFlow构建的模型用作服务，首先需要确保导出为正确的格式，可以采用TensorFlow提供的SavedModel类。TensorFlow Saver提供模型checkpoint磁盘文件的保存/恢复。事实上SavedModel封装了TensorFlow Saver，对于模型服务是一种标准的导出方法。

SignatureDefs定义了一组TensorFlow支持的计算签名，便于在计算图中找到适合的输入输出张量。简单的说，使用这些计算签名，可以准确指定特定的输入输出节点。目前有3个服务API: 分类、预测和回归。每个签名定义关联一个RPC API。分类SignatureDef用于分类RPC API，预测SignatureDef用于RPC API等等。对于分类SignatureDef，需要一个输入张量(接收数据)以及可能的输出张量: 类别或得分。回归SignatureDef需要一个输入张量以及另一个输出张量。最后预测SignatureDef需要一个可变长度的输入输出张量。

提供tensorflow模型

tf.saved_model API

with sess.graph.as_default() as graph:
    builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
        # 1.8版本，1.12之后调整为tf.saved_model.predict_signature_def
    signature = tf.saved_model.signature_def_utils.predict_signature_def(inputs={\'image\': in_image},
                                      outputs={\'prediction\': graph.get_tensor_by_name(\'final_result:0\')},)
    builder.add_meta_graph_and_variables(sess=sess,
                                         tags=["serve"],
                                         signature_def_map={\'predict\':signature,
                                           tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY:signature
        })
    builder.save()

tf.estimator API

def export_savedmodel(self,
                      export_dir,
                      serving_input_receiver_fn=None,
                      as_text=False,
                      checkpoint_path=None):
    if serving_input_receiver_fn is None and self.feature_cfgs is None:
        raise ValueError(\'Both serving_input_receiver_fn and feature_cfgs are none.\')

    if serving_input_receiver_fn is None:
        feature_spec = self.feature_cfgs.to_feature_spec(exclude_targets=True)
        serving_input_receiver_fn = tf.estimator.export.build_parsing_serving_input_receiver_fn(feature_spec)
        # 自己封装的estimator
    savedmodel_path = self.estimator.export_savedmodel(
        export_dir_base=export_dir,
        serving_input_receiver_fn=serving_input_receiver_fn,
        as_text=as_text,
        checkpoint_path=checkpoint_path
    )
    return savedmodel_path

其中self.feature_cfgs.to_feature_spec函数得到如下结果：

{\'follow_seq\': VarLenFeature(dtype=tf.int64), \'uid\': VarLenFeature(dtype=tf.int64)}

说明了输入】

TensorFlow Serving ModelServer 用于发现新导出的模型，并启动 gRPC 用于提供模型服务。

API请求(predict)

TensorFlow ModelServer通过host:port接受下面这种RESTful API请求：

POST http://host:port/:

URI: /v1/models/\({MODEL_NAME}[/versions/\){MODEL_VERSION}]

VERB: classify|regress|predict

其中“/versions/${MODEL_VERSION}”是可选的，如果省略，则使用最新的版本。

该API基本遵循gRPC版本的PredictionService API。

请求URL的示例：

http://host:port/v1/models/iris:classify
http://host:port/v1/models/mnist/versions/314:predict

请求格式

预测API的请求体必须是如下格式的JSON对象：

{
  // (Optional) Serving signature to use.
  // If unspecifed default serving signature is used.
  "signature_name": <string>,

  // Input Tensors in row ("instances") or columnar ("inputs") format.
  // A request can have either of them but NOT both.
  "instances": <value>|<(nested)list>|<list-of-objects>
  "inputs": <value>|<(nested)list>|<object>
}

以行的形式说明输入的tensor

{
 "instances": [
   {
     "tag": "foo",
     "signal": [1, 2, 3, 4, 5],
     "sensor": [[1, 2], [3, 4]]
   },
   {
     "tag": "bar",
     "signal": [3, 4, 1, 2, 5]],
     "sensor": [[4, 5], [6, 8]]
   }
 ]
}

以列的形式说明输入的tensor

{
 "inputs": {
   "tag": ["foo", "bar"],
   "signal": [[1, 2, 3, 4, 5], [3, 4, 1, 2, 5]],
   "sensor": [[[1, 2], [3, 4]], [[4, 5], [6, 8]]]
 }
}

返回格式

行形式

{
  "predictions": <value>|<(nested)list>|<list-of-objects>
}

如果模型的输出只包含一个命名的tensor，我们省略名字和predictions key map，直接使用标量或者值的list。如果模型输出多个命名的tensor，我们输出对象list，和上面提到的行形式输入类似。

列形式

{
  "outputs": <value>|<(nested)list>|<object>
}

如果模型的输出只包含一个命名的tensor，我们省略名字和outputs key map，直接使用标量或者值的list。如果模型输出多个命名的tensor，我们输出对象，其每个key都和输出的tensor名对应，和上面提到的列形式输入类似。

API demo

$ curl -d \'{"instances": [1.0,2.0,5.0]}\' -X POST http://localhost:8501/v1/models/half_plus_three:predict
{
    "predictions": [3.5, 4.0, 5.5]
}

[译]TensorFlow Serving RESTful API

源码理解

tensorflow-serving源码理解

开发中遇到的其他问题记录

实现numpy中的切片赋值

# 初始化一个3*4的tensor和大小为3的list
cis = tf.zeros([3, 4)
cis_list = [tf.zeros([4]) for _ in range(3)]
# 替换list的一个元素
cis_list[k] = eis
# 重新堆叠成一个tensor,列切片赋值axis=1?
cis = tf.stack(cis_list)

附录

• tf.data.Dataset
• Tensorflow中的数据对象Dataset
• Dataset Input Pipeline
• 基于Tensorflow高阶API构建大规模分布式深度学习模型系列之特征工程Feature Columns
• w3cschool TensorFlow官方文档
• TensorFlow入门12 -- Checkpoints，保存和恢复Estimator创建的模型
• 官方文档
• TensorFlow-Serving:Flexible, High-Performance ML Serving
• 如何用TF Serving部署TensorFlow模型
• TensorFlow 学习笔记
• Client API(REST)
• tensorflow-serving源码理解
• docker部署tensorflow serving以及模型替换