python Response iter_content

原始响应内容

在罕见的情况下,你可能想获取来自服务器的原始套接字响应,那么你可以访问 r.raw。 如果你确实想这么干,那请你确保在初始请求中设置了 stream=True。具体你可以这么做:

>>> r = requests.get('https://github.com/timeline.json', stream=True)
>>> r.raw
<requests.packages.urllib3.response.HTTPResponse object at 0x101194810>
>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

但一般情况下,你应该以下面的模式将文本流保存到文件

with open(filename, 'wb') as fd:
    for chunk in r.iter_content(chunk_size):
        fd.write(chunk)

使用 Response.iter_content 将会处理大量你直接使用 Response.raw 不得不处理的。 当流下载时,上面是优先推荐的获取内容方式。


和tqdm进度条的结合

tqdm进度条的使用,for data in tqdm(iterable)

Response.iter_content是可迭代对象

def dd(url,filename):#传入url,以及下载文件的全路径filename
    #url = "http://www.jxepb.gov.cn/resource/uploadfile/file/20160307/20160307083510567.xls"
    response = requests.get(url, stream=True)
    #用response储存在获取url的响应
    with open(filename, "wb") as handle:
    #打开本地文件夹路径filename,以二进制写入,命名为handle
        for data in tqdm(response.iter_content()):
    #tqdm进度条的使用,for data in tqdm(iterable)
            handle.write(data)
        #在handle对象中写入data数据