Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是国际互联网界通行的道德规范，尊重信息提供者的意愿维护其隐身，正如08年淘宝网屏蔽蜘蛛，11年京东的一淘网屏蔽了爬虫，都是体现robots.txt的规范互联网的原则，遵从民主自由。话题有点偏了，回到wordpress如何设置最佳robots.txt。
创新互联专注于企业成都全网营销、网站重做改版、沽源网站定制设计、自适应品牌网站建设、H5开发、成都做商城网站、集团公司官网建设、外贸营销网站建设、高端网站制作、响应式网页设计等建站业务，价格优惠性价比高，为沽源等各大城市提供网站开发制作服务。
Robots.txt是搜索引擎蜘蛛进站的第一个胃口，首要检查的文件，网站有很多内容例如js，style，插件，图片是无需爬虫去抓取的，对博客网站来说文章才是重中之重，把所有力气放在文章，一点击破，而不是浪费资源做无用功，而wordpress默认的robots.txt是：
User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/
这只是其中的一小部分，对不懂优化的人来说，屏蔽这些应该已经足够，但对SEO来说，就是追求完美，没有最好只有更好，那么要屏蔽那些，如何屏蔽呢
1.动态页面对搜索引擎不友好，搜索引擎的口味是静态页面，所以可以屏蔽动态页面，前提是网站要伪静态，
Disallow: /*?* 限制动态页面 /%post_id%.html 伪静态设置
2.管理员登录界面，既然是管理员就没必要给爬虫抓取，登录界面对用户也没用
Disallow: /wp-admin/ 限制管理员登陆页面
3.插件、模板、js文件这些是网站的后台程序代码，也可以屏蔽
Disallow: /wp-content/plugins/ 限制插件文件
Disallow: /wp-content/themes/ 限制模板文件
Disallow: /wp-includes/ 限制js文件
4.feed，不知道站长们对这个熟悉吗，这个是网站的订阅文件，原本漳州网站建设也不知道，只知道有RSS订阅，在网站域名后加个feed你就清楚了，这个也可以屏蔽。
Disallow: /feed
5.网站的评论，评论被抓取会导致文章的重复，不利于观察分析，用户体验，但这个视具体情况，个人爱好不一。
Disallow: /comments 限制评论
Disallow: /*?replytocom* 限制每一个评论页面
设置完Robots.txt后，为保险起见，最好用百度站长工具检查一下，漳州网站建设就被robots.txt解禁困扰过，花了很长时间才把它搞定。插个小曲，robots.txt不仅可以禁止爬虫爬取网站结构，也可以禁止 404页面，搜索蜘蛛非常喜欢网站地图，sitemap可以为搜索引擎蜘蛛指路，增加网站重要内容页面的收录，也有利于用户体验，所以最后一点就是加入网站地图。
通过sitemap网站地图吸引蜘蛛爬行的方式主要有以下几点：
1、什么是 sitemap
简单理解：sitemap 就是网站地图，它通过可视化的形式，展示网站的主要结构比如：列表页、分类页、tag 页，以及内容页面。
网站地图的主要形式包括：sitemap.html、sitemap.xml、sitemap.txt，通常情况下这三种形式的
sitemap网站地图，主要被存放在：
① 网站前端页面
通常众多站长喜好将 sitemap.html
类型的网站地图，存放在前端页面，经常被放在网站导航中，用于向访客清晰的展示网站的结构框架，突出众多栏目。
在页面相对较多的网站，理论上它会出现多个 sitemap.html 用于展现不同专题的内容结构。
② 网站 Robots.txt 中
理论上 sitemap.xml 与 sitemap.txt 经常被存放在 Robots.txt
文件中，用于百度蜘蛛快速抓取，当然也可以做百度网址提交，加快页面收录。
具体有关 sitemap 配置的方法，你可以参考百度官方《平台工具使用帮助》中，链接提交的说明。
2、网站地图制作方法：
网站地图制作的方法有很多，通常来讲主要包括如下几个方面：
① 程序插件
一般情况下，知名的 cms 系统，都会配有 sitemap 网站地图生成插件，你需要在相应的应用市场去查询相关插件，并开启他们，比如：wordpress
插件、zblog 插件和 dedecms 织梦插件等，当然你也可以聘用技术人员，独立开发一个插件，性价比还是蛮高的。
② sitemap 生成器
目前市面上有很多在线生成 sitemap 的网站，以及客户端，比如：爱站网的 SEO 工具包，对于一些技术能力不强的小伙伴，还是很有帮助。
③ 手动生成
如果你在操作一个独立博客，每日更新的内容并不是特别多，比如在 10 篇以下，那么你完全可以手动添加 sitemap，如果你想在简单一点，你只需要选择
sitemap.txt，把 URL 网址复制到这个文本文件中就可以。
3、如何提交网站地图
通常向百度提交 sitemap 网站地图的方法很简单，你只需要登录百度搜索资源平台，你就会在：
网站支持-数据引用-链接提交中
让各大搜索引擎搜索收录到刚建的wordpress网站方法如下：
一、提交入口（这里以百度举例）
打开百度站长
2.链接提交
3.手动提交
4.填写网址，提交即可
二、外链建设
可以通过去各个论坛发布带有网址的文本，让搜索引擎蜘蛛爬行网站，从而收录。查看外链的方法如图：
wordpress系统本身是对搜索引擎友好的，如果网站的内容比较私密不希望蜘蛛爬取，可以能过以下方法实现：
1、进入wordpress "设置" - "阅读" - 然后勾选“建议搜索引擎不索引本站点”，再点击 “保存更改”。这样搜索引擎就不会收录和索引网站了。
2、还可以通过配置“robots.txt”来告诉搜索引擎，不要收录/索引网站的内容；
步骤：
1)，新建一个文本文档，重命名为“robots.txt”；
2)，在文本文件贴入以下内容并保存：
User-agent: *
Disallow: /
3)，将设置好的“robots.txt”上传至网站的根目录。