robots.txt的代码语法错了 把第一行的代码去掉，把第三行放到第一行。 另外你可以用robots.txt的特定语法来控制蜘蛛的爬行频率，这样也可减少流量消耗。
目前创新互联已为成百上千家的企业提供了网站建设、域名、网站空间、网站改版维护、企业网站设计、田家庵网站维护等服务，公司将坚持客户导向、应用为本的策略，正道将秉承"和谐、参与、激情"的文化，与客户和合作伙伴齐心协力一起成长，共同发展。
网络爬虫只能根据你指定的url爬取网页的html代码，至于你想要包含指定内容的网页的话，只能先爬取下来网页，然后在对页面内容进行匹配（正则，也有开源工具）找到你想要的内容就可以了！顺便说一句网络爬虫不能根据关键字来爬取网页！
百度爬虫， 只能从网站日志中查看
查看方法 去空间后台，应该有提取空间日志的选项，然后用ftp 下载到本地，查看日志的工具很多，可以搜一下