用python爬取搜索引擎关键词的简易方案

环境：python2.7

以360为例，用http截取工具获得url，具体的获取方法根据要求实现功能而定。例如：我要爬取她的关键词，就是截取以...word=结尾的一串url。

没有加入浏览器信息，系统版本，事实证明360对爬虫很友好呢=、=。

1、关于正则表达式的处理，根据实际情况自己写，没有特别统一的格式。

2、关于网站的编码，都可以修改处理，这里用的gbk。

#coding=gbk

'''

Created on 2014-9-23

@author: Administrator

'''

import urllib2

import urllib

import re

key = urllib.quote(raw_input("关键词:"))

url = 'http://sug.so.360.cn/suggest?callback=suggest_so&encodein=gbk&encodeout=gbk&format=json&fields=word,obdata&word='+key

req = urllib2.Request(url)

html = urllib2.urlopen(req).read()

ss = re.findall('\"word\"\:\"(.*?)\"',html)

for i in ss:

　　print i