『TensorFlow』分布式训练_其一_逻辑梳理
1，PS-worker架构
将模型维护和训练计算解耦合，将模型训练分为两个作业（job）：
- 模型相关作业，模型参数存储、分发、汇总、更新，有由PS执行
- 训练相关作业，包含推理计算、梯度计算（正向/反向传播），由worker执行
该架构下，所有的woker共享PS上的参数，并按照相同的数据流图传播不同batch的数据，计算出不同的梯度，交由PS汇总、更新新的模型参数，大体逻辑如下：
- pull：各个woker根据数据流图拓扑结构从PS获取最新的模型参数
- feed：各个worker根据定义的规则填充各自batch的数据
- compute：各个worker使用第一步的模型参数计算各自的batch数据，求出各自batch的梯度
- push：各个worker将各自的梯度推送到PS
- update：PS汇总来自n个worker的n份梯度，求出平均值后更新模型参数
分布式经典架构PS-worker会重复上面步骤，直到损失到达阈值或者轮数到达阈值。
2，数据并行模式分类
根据数据流图构建模式分类：
- 图内复制：单进程、‘单机多卡’的数据并行训练，需要用户自己实现梯度汇总和均值计算。实例，models/tutorials/image/cifar10/cifer10_multi_gpu-train.py（见下节）
- 图间复制：多进程、跨多机的分布式训练，使用同步优化器（SyncReplicasOptimizer）实现分布式梯度计算和模型参数更新。实例，tensorflow/tools/dist_test/python/mnist_replica.py（分布式同步训练实践，见下下节）
根据参数更新机制分类：
- 异步训练：各个worker独立训练，计算出梯度后即刻更新参数，不需要等待其他worker完成计算
- 同步训练：所有worker完成本轮计算后，汇总梯度，更新模型，计算能力强的worker需要阻塞等待其他worker
两种训练机制同时支持上面两周数据流图构建模式。一般来说同步机制收敛快，异步单步计算快，但易受单批数据影响，不稳定。
3，同步优化器
tensorflow进行同步（同步训练模式专用）各个worker梯度并进行优化时，会使用特殊的优化器即同步优化器，tf.train.SyncReplicasOptimizer，其第一个参数为普通优化器，我们可以定义一个普通的优化器传入，后续参数如下：
| 参数名称 | 功能说明 | 默认值 |
| replicas_to_aggragate | 并行副本数 | num_workers |
| total_num_replicas | 实际副本数（worker数目） | num_workers |
并行副本数指期望的每一步中并行的batch数据数目，实际副本数指参与的workers数目，
- 并行=实际：全民参与，一个worker领取一个batch数据
- 并行>实际：能者多劳，先完成自己batch的worker会继续领取未训练数据，PS会等到梯度份数到达并行数后进行模型参数计算
- 并行<实际：替补等位，存在空闲的worker，取代可能出现的异常worker，确保训练过程高可用
运算过程
- 计算梯度过程同普通优化器，调用基类的Optimizer的compute_gradients成员方法
- 更新参数时重写了Optimizer的apply_gradients方法，见tensorflow/python/training/sync_replicas_optimizer.py
讲解同步优化器工作逻辑之前，介绍两个概念，
梯度聚合器
每一个模型参数有一个自己队列，收集来自不同worker的梯度值，梯度聚合器包含M个队列对应M个模型参数，每个队列收集来自N个worker计算出来的N个梯度值。
同步标记队列
存储同步标记，实际上就是N个global_step值，每个worker领取一个，用于控制同步
以全民参与模式为例
worker工作模式如下：
- 从同步标记队列领取一个global_step，表示全局训练步数的同步标记
- 将同步标记值赋予worker的本地训练步数local_step
- 从PS获取最新模型参数
- 计算出M个梯度值
- 将M个梯度值推送到PS上的M个梯度队列中
PS工作模式如下：
- 从梯度聚合器上收集worker推送过来的梯度值，每个队列收集N份（对应N个global_step下训练值）后，计算均值，收集齐M个均值后，得到M对{模型参数，梯度值}的聚合元组
- 更新模型参数
- 向同步标记队列推送N个global_step+1标记
聚合器收集梯度值并校验local_step是否符合global_step，是则接收梯度值，计算能力强的worker提交梯度后由于没有同步标记可以领取所以被阻塞，PS集齐N份后更新参数，发布下次N个同步标记，开始下一步训练。
由于初始PS不会更新参数发布同步标记，所以需要初始化同步标记队列——sync_init_op，直接向队列注入N个0标记。
分布式模型训练需要的主要初始化操作如下（opt指tf.train.SyncReplicasOptimizer）：
| 操作名称 | 常用变量名 | 功能说明 |
| opt.local_step_init_op | local_init_op | loacl_step初始值 |
| pot.chief_init_op | local_init_op | gobal_step初始值 |
| opt.ready_for_local_init_op | ready_for_local_init_op | 为未初始化的Variable设置初始值 |
| opt.get_chief_queue_runner | chief_queue_runner | 同步标记队列启动QueueRunner实例 |
| opt.get_init_tockens_op | sync_init_op | 同步标记队列初始化 |
| tf.global_variables_initializer | init_op | 全局Variable设置初始值 |
如果使用模型管理类Supervsor，可以将大部分工作交由其代劳。
以能者多劳模式对比
模型参数个数M，worker个数N，并行副本数R（R>N），此时
梯度聚合器仍然有M个参数收集队列，每一个队列要收集R份才进行汇总，R>N所以会存在某个worker领取多份数据的情况。
同步标记队列存储R个同步标记，以确保每一步中梯度聚合器可以收集到R份数据。
4，异步优化器
异步优化器没有很多附加参量，和单机训练几乎一致，只是每个worker获取参数需要从另一个进程PS中得到而已。
5，模型管理类Supervsor
本质上是对Saver（模型参数存储恢复）、Coordinator（多线程服务生命周期管理）、SessionManager（单机以及分布式会话管理）三个类的封装
Coordinator会监测程序的线程是否运行正常，任何异常的出现都会向Supervisor报告，此时Coordinator讲程序的停止条件设置为True，Supervisor停止训练并清理工作（关闭会话、回收内存等），其他服务检测到True后会各自关闭服务，终止线程。
SessionManager帮助用户创建管理单机或是分布式会话，以便简化数据流图的生命周期和维护逻辑，同事负责将checkpoint文件中加载出的数据恢复到数据流图中。
流程逻辑如下：
- 创建Supervisor实例，构造方法需要传入checkpoint文件和summary文件存储目录（Supervisor的logdir参数）
- 调用tf.train.Supervisor.managed_session，从Supervisor实例获取会话实例
- 使用该会话执行训练，训练中需要检查停止条件，保证训练正确性
获取managed_session时，Supervisor会通过QueueRunner同时启动一下三个服务：
- 检查点服务：将数据流图中的参数定期保存，默认10min保存一次，且会识别global_step（Supervisor的global_step参数）
- 汇总服务：默认2min一次
- 步数计数器服务：向汇总添加global_step/sec，2min一次
使用managed_session创建会话时，会自动恢复上一次的结果并继续训练。