带宽
网站阈值
单机
分布式
几百万
保密性好的网站，不能使用request请求页面信息，这样可以使用webdriver模块先开启一个浏览器，然后爬去信息，甚至还可以click等操作对页面操作，再爬取。demo一般流程：1）包含selenium模块fromseleniumimp…
在爬取数据之后，数据的保存就成为一个新的问题，一般不太大的的数据存储到EXCEL就可以了。这里介绍一个python的第三方库——xlsxwriter.这个库的安装就不介绍了，pip就可以，不用FQ。这里仅介绍一些简单常用的命令。首先，说明一…
下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，…
学习爬虫有一段时间了，对遇到的一些问题进行一下总结。爬虫流程可大致分为：请求网页（request），获取响应（response），解析（parse），保存（save）。下面分别说下这几个过程中可以出现的问题：你可以这样理解，你在浏览器输入x…
一、数据库的介绍（1）由多张表组成（2）存取有规则，数据有关联（3）数据量大，被优化好处：更有效的存取数据二、关系型数据库管理系统（RDBMS）Oracle，Mysql，Sqlserver，DB2，Postgresql，Sqlite，Acc…
一个关于豆瓣影评的爬虫，涉及：模拟登陆，翻页抓取。直接上代码：importreimporttimeimportrequestsimportxlsxwriterfrombs4importBeautifulSoupheaders={'User-…
http://bbs.csdn.net/wap/topics/390938327查找所有的TD区域(最短):<td\s*.*>\s*.*<\/td>查找所有的TR:<tr.*(?=>)(.|\n)*?&l…
安装scrapy不再赘述，在控制台中输入scrapystartprojecttencent创建爬虫项目名字为tencent接着cdtencent用pycharm打开tencent项目构建item文件#-*-coding:utf-8-*-#D…