Python-分布式进程
分布式进程是将Process进程分布到多台服务器中，利用多台机器的性能完成复杂的任务。可以应用到分布式爬虫的开发中。
分布式进程在Python中依然要用到multiprocess模块。它不但支持多进程，其中managers子模块还支持吧多进程分不到多台机器上，可以写一个服务进程作为调度者，将任务分不到其他多个进程中，依靠网络通信进行管理。
例：
抓取某网站的所有图片，多进程的方法是一个进程负责抓取图片的url，然后放到Queue中，另外的进程负责从Queue中读取url进行下载和存储到本地。
分布式：
当把上述过程做成分布式，一台机器上负责抓取url链接，其他机器负责下载和存储。
主要问题就是讲Queue暴露在网络中，让其他机器的进程都可以访问，分布式进程就是将这一过程进行了封装，可以将之成为本队列的网络化。
创建分布式进程需要的六个步骤：
1、建立队列Queue，用来进程之间的通信：
服务进程创建任务队列task_queue，用来作为传递惹怒给任务进程的通道。在分布式多进程环境下必须通过由Queuemanager
获得Queue接口来添加任务。
2、把第一步中建立的队列在网络上注册，暴露给其他进程（主机），注册后获得网络队列，相当于本地队列的映像。
3、建立一个对象（Queuemanager(BaseManage))实例manager，绑定端口和验证口令。
4、启动第三部中建立的实例，即启动管理manager，监管通信通道。
5、通过管理实例的方法获得通过网络访问Queue对象，即再把网络队列实例化成可已使用的本地队列。
6、创建人物到"本地"队列中，自动上传人物到网络队列中，分配给任务进程进行处理。
Python版本：3.5
系统：Mac OS
taskManager.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-
__author__ = 'Fade Zhao'
# 服务进程（taskManager.py）
# 导入随机，时间，队列
from multiprocessing.managers import BaseManager
import time,random,queue
# ＃实现第一步：建立task_queue和result_queue，用来存放任务和结果
task_queue = queue.Queue()
result_queue = queue.Queue()
class Queuemanager(BaseManager):
pass
#实现第二步：把创建的两个队列注册在网络上，利用register方法，callable参数关联了Queue对象，
# 将Queue对象在网络中暴露
Queuemanager.register('get_task_queue',callable=lambda:task_queue)
Queuemanager.register('get_result_queue',callable=lambda:result_queue)
#实现第三步：绑定端口8001，设置验证口令b‘abc’(是b格式)。这个相当于对象的初始化
manager=Queuemanager(address=('127.0.0.1',1234),authkey=b'abc',)
#实现第四步：启动管理，监听信息通道
manager.start()
#实现第五步：通过管理实例的方法获得通过网络访问的Queue对象
task=manager.get_task_queue()
result=manager.get_result_queue()
#实现第六步：添加任务
for url in ["ImageUrl_"+str(i) for i in range(10)]:
print('put task %s ...' %url)
task.put(url)
#获取返回结果
print('try get result...')
for i in range(10):
print('result is %s' %result.get(timeout=10))
#关闭管理
manager.shutdown()taskWorker.py
#!/usr/bin/env python
# -*- coding: utf-8 -*-
__author__ = 'Fade Zhao'
import time
from multiprocessing.managers import BaseManager
# 创建类似的QueueManager:
class QueueManager(BaseManager):
pass
# 实现第一步：使用QueueManager注册获取Queue的方法名称
QueueManager.register('get_task_queue')
QueueManager.register('get_result_queue')
# 实现第二步：连接到服务器:
server_addr = '127.0.0.1'
print('Connect to server %s...' % server_addr)
# 端口和验证口令注意保持与服务进程设置的完全一致:
m = QueueManager(address=(server_addr, 1234), authkey=b'abc')
# 从网络连接:
m.connect()
# 实现第三步：获取Queue的对象:
task = m.get_task_queue()
result = m.get_result_queue()
# 实现第四步：从task队列取任务,并把结果写入result队列:
while(not task.empty()):
image_url = task.get(True,timeout=5)
print('run task download %s...' % image_url)
time.sleep(1)
result.put('%s--->success'%image_url)结果：
taskManager>>> Connect to server 127.0.0.1... run task download ImageUrl_0... run task download ImageUrl_1... run task download ImageUrl_2... run task download ImageUrl_3... run task download ImageUrl_4... run task download ImageUrl_5... run task download ImageUrl_6... run task download ImageUrl_7... run task download ImageUrl_8... run task download ImageUrl_9... taskWorker>>> Connect to server 127.0.0.1... run task download ImageUrl_0... run task download ImageUrl_1... run task download ImageUrl_2... run task download ImageUrl_3... run task download ImageUrl_4... run task download ImageUrl_5... run task download ImageUrl_6... run task download ImageUrl_7... run task download ImageUrl_8... run task download ImageUrl_9...
注意，当我们在一台机器上写多进程程序时，创建的Queue可以直接拿来用，但是，在分布式多进程环境下，添加任务到Queue不可以直接对原始的task_queue进行操作，那样就绕过了QueueManager的封装，必须通过manager.get_task_queue()获得的Queue接口添加。
这个简单的Manager/Worker模型有什么用？其实这就是一个简单但真正的分布式计算，把代码稍加改造，启动多个worker，就可以把任务分布到几台甚至几十台机器上，比如换成发送邮件，就实现了邮件队列的异步发送。
其中的Queue是在taskManage进程中被创建注册到网络中，而taskWorker通过网络获取Queue。
authkey 为了保证两台机器正常通信，不被其他机器恶意干扰。如果taskworker.py的authkey和taskmanager.py的authkey不一致，肯定连接不上。