网站想要取消限制搜索引擎抓取可以直接在网站后台进行设置，通过上传robots文件或者在服务器上面利用网站安全狗软件设置静止抓取等方式。直接在网站后台进行设置时，可以登录wordpress网站后台，点击设置按钮和阅读按钮，然后找到建议搜索引擎不索引本站点前面的框框，然后勾选这个框框，然后点击保存更改即可；如果通过上传robots文件的方式，可以先在本地创建一个robots文件，然后在robots文件里面写入静止搜索引擎抓取的代码，写入完成后，然后通过FTP文件上传工具将robots.txt文件上传到网站的根目录中；如果利用服务器中的网站安全狗设置静止搜索引擎抓取，可以登录Windows系统的服务器，打开里面的网站安全狗软件，然后找到IP黑白名单，然后将开启爬虫访问白名单签名的勾去掉，然后点击保存即可。
成都创新互联网络公司拥有十年的成都网站开发建设经验，数千家客户的共同信赖。提供成都网站建设、网站建设、网站开发、网站定制、买链接、建网站、网站搭建、响应式网站、网页设计师打造企业风格，提供周到的售前咨询和贴心的售后服务
更多关于网站如何取消限制搜索引擎抓取，进入：查看更多内容
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。
百度爬虫， 只能从网站日志中查看
查看方法 去空间后台，应该有提取空间日志的选项，然后用ftp 下载到本地，查看日志的工具很多，可以搜一下