需要爬的网页实在太多太多了，而上面的代码太慢太慢了。设想全网有N个网站，那么分析一下判重的复杂度就是N*log(N)，因为所有网页要遍历一次，而每次判重用set的话需要log(N)的复杂度。
网站建设哪家好，找创新互联！专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了立山免费建站欢迎大家使用！
这时候，手动一个个去下显然是不可取的，我们需要写个脚本，能从特定的网站选择性得批量下载需要的信息。python是不错的选择。
出现了数据造假，这个数字可能是刷出来的 真的有这么多的评论，但这时候系统可能只显示其中比较新的评论，而对比较旧的评论进行了存档。
目前我想到的方案是借助爬虫框架，数据存储可利用mysql，mongodb之类的。打个比方，这是我用scrapy爬取诗词网站的数据，然后存储到Mongodb中，就是缺少一部更新。
我们先来分析如何构造用户信息的URL。这里我以微博名为一起神吐槽的博主为例进行分析。做爬虫的话，一个很重要的意识就是爬虫能抓的数据都是人能看到的数据，反过来，人能在浏览器上看到的数据，爬虫几乎都能抓。
您可以创建日志文件，并使其包含与互操作性、程序加载和网络有关的诊断信息。通过设置注册表项，可以启用日志记录。首先，设置一个注册表项以启用常规日志记录，然后针对所需的日志记录组件和选项来设置注册表项。
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
RemoteSyslogAppender 通过UDP网络协议将日志写到Remote syslog service。RemotingAppender 通过.NET Remoting将日志写到远程接收端。RollingFileAppender 将日志以回滚文件的形式写到文件中。SmtpAppender 将日志写到邮件中。
screen -m：如果在一个Screen进程里，用快捷键crtl+a c或者直接打screen可以创建一个新窗口，screen -m可以新建一个screen进程。screen -dm：新建一个screen，并默认是detached模式，也就是建好之后不会连上去。
则瓶颈多出在CPU上。多进程的话可以高效利用CPU。但是其实多数情况是在网络，所以说更好的解决办法是用多个机房的多台机器同时跑多进程的爬虫，这样减少网络阻塞。实现的话，用scrapy+rq-queue然后用redis来作队列就好。
对于scrapy而言，更多的时候是在配置scrapy。先要继承一个spider写爬虫的主体，然后还要在setting里写配置，在pipeline里写数据库。
它把整个爬虫过程分为了多个独立的模块，并提供了多个基类可以供我们去自由扩展，让爬虫编写变得简单而有逻辑性。
尽可能减少网站访问次数 单次爬虫的主要把时间消耗在网络请求等待响应上面，所以能减少网站访问就减少网站访问，既减少自身的工作量，也减轻网站的压力，还降低被封的风险。
所以安装pip会自动安装setuptools 有上面的依赖可知，在非windows的环境下安装 Scrapy的相关依赖是比较简单的，只用安装pip即可。Scrapy使用pip完成安装。