robots.txt的代码语法错了 把第一行的代码去掉，把第三行放到第一行。 另外你可以用robots.txt的特定语法来控制蜘蛛的爬行频率，这样也可减少流量消耗。
创新互联建站服务项目包括临西网站建设、临西网站制作、临西网页制作以及临西网络营销策划等。多年来，我们专注于互联网行业，利用自身积累的技术优势、行业经验、深度合作伙伴关系等，向广大中小型企业、政府机构等提供互联网行业的解决方案，临西网站推广取得了明显的社会效益与经济效益。目前，我们服务的客户以成都为中心已经辐射到临西省份的部分城市，未来相信会继续扩大服务区域并继续获得客户的支持与信任！
做法：传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。
然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。
百度爬虫， 只能从网站日志中查看
查看方法 去空间后台，应该有提取空间日志的选项，然后用ftp 下载到本地，查看日志的工具很多，可以搜一下
网站想要取消限制搜索引擎抓取可以直接在网站后台进行设置，通过上传robots文件或者在服务器上面利用网站安全狗软件设置静止抓取等方式。直接在网站后台进行设置时，可以登录wordpress网站后台，点击设置按钮和阅读按钮，然后找到建议搜索引擎不索引本站点前面的框框，然后勾选这个框框，然后点击保存更改即可；如果通过上传robots文件的方式，可以先在本地创建一个robots文件，然后在robots文件里面写入静止搜索引擎抓取的代码，写入完成后，然后通过FTP文件上传工具将robots.txt文件上传到网站的根目录中；如果利用服务器中的网站安全狗设置静止搜索引擎抓取，可以登录Windows系统的服务器，打开里面的网站安全狗软件，然后找到IP黑白名单，然后将开启爬虫访问白名单签名的勾去掉，然后点击保存即可。
更多关于网站如何取消限制搜索引擎抓取，进入：查看更多内容