针对善意爬虫，几乎所有的搜索引擎爬虫，都会遵守robots协议，只要我们在网站的根目录下存放一个ASCII编码的文本文件，告诉搜索引擎哪些页面不能爬取，搜索引擎的蜘蛛便会遵照协议，不爬取指定页面的内容。
创新互联坚持“要么做到，要么别承诺”的工作理念，服务领域包括：网站设计制作、做网站、企业官网、英文网站、手机端网站、网站推广等服务，满足客户于互联网时代的和县网站设计、移动媒体设计的需求，帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴！
基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
屏蔽主流搜索引擎爬虫（蜘蛛）抓取/索引/收录网页的几种思路。是整站屏蔽，而且是尽可能的屏蔽掉所有主流搜索引擎的爬虫。通过robots.txt文件屏蔽，可以说robots.txt文件是最重要的一种渠道（能和搜索引擎建立直接对话）。
通过 robots.txt 文件屏蔽，可以说 robots.txt 文件是最重要的一种渠道（能和搜索引擎建立直接对话）。通过 meta tag 屏蔽，在所有的网页头部文件添加，添加如下语句：。
robots 文件 搜索引擎蜘蛛访问网站时，会先查看网站根目录下有没有一个命名为 robots.txt 的纯文本文件，它的主要作用是制定搜索引擎抓取或者禁止网站的某些内容。
网站定位 网站一定要有准确的定位，网站的标题、核心关键词、描述都要准确，查看主页，栏目页面，内容页面，有没有错误的，不要再网站的每个页面使用相同的标题，关键词和描述，这样对网站没有任何好处的。
例禁止所有搜索引擎访问网站的任何部分User-agent：*Disallow：/实例分析：淘宝网的Robots.txt文件User-agent：baiduspiderDisallow：/很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
基于程序本身去防止爬取：作为爬虫程序，爬取行为是对页面的源文件爬取，如爬取静态页面的html代码，可以用jquery去模仿写html，这种方法伪装的页面就很难被爬取了，不过这种方法对程序员的要求很高。
使用nginx的自带功能通过对httpuseragent阻塞来实现，包括GET/POST方式的请求，以nginx为例。
避开反爬的方法：模拟正常用户。反爬虫机制还会利用检测用户的行为来判断，例如Cookies来判断是不是有效的用户。动态页面限制。有时候发现抓取的信息内容空白，这是因为这个网站的信息是通过用户的XHR动态返回内容信息。
通过CSS隐藏技术，可见的页面样式和HTML里DIV结构不同，增加了爬虫的难度，同时增加自己的维护难度。技术网站采用了这种方法 通过JS不让用户复制，这对非专业人员有效，对技术人员/工程师来说，没有任何效果。
手工提交：一次性提交链接给百度，可以使用此种方式。方法五：利用JS加密网页内容 这个方法是在个别网站上看到的，非常暴力。