python爬虫伪装请求头---fake-useragent

在编写爬虫进行网页数据的时候，大多数情况下，需要在请求是增加请求头，下面介绍一个python下非常好用的伪装请求头的库：fake-useragent，具体使用说明如下：

• 安装fake-useragent库

pip install fake-useragent

• 获取各浏览器的fake-useragent

  from fake_useragent import UserAgent
  ua = UserAgent()
  #ie浏览器的user agent
  print(ua.ie)
  
  #opera浏览器
  print(ua.opera)
  
  #chrome浏览器
  print(ua.chrome)
  
  #firefox浏览器
  print(ua.firefox)
  
  #safri浏览器
  print(ua.safari)
  
  #最常用的方式
  #写爬虫最实用的是可以随意变换headers，一定要有随机性。支持随机生成请求头
  print(ua.random)
  print(ua.random)
  print(ua.random)

  示例代码

• from fake_useragent import UserAgent
  import requests
  ua=UserAgent()
  #请求的网址
  url="http://www.baidu.com"
  #请求头
  headers={"User-Agent":ua.random}
  #请求网址
  response=requests.get(url=url,headers=headers)
  #响应体内容
  print(response.text)
  #响应状态信息
  print(response.status_code)
  #响应头信息
  print(response.headers)