SEO怎么禁止百度蜘蛛爬某个文件夹

创新互联建站导读:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码: User-agent: Baiduspider Disallow: wenjianjia/

吉林网站建设公司创新互联公司,吉林网站设计制作,有大型网站制作公司丰富经验。已为吉林上1000+提供企业网站建设服务。企业网站搭建\成都外贸网站建设要多少钱,请找那个售后服务好的吉林做网站的公司定做!

问题:SEO怎么禁止百度蜘蛛爬某个文件夹?

回答:禁止搜索引擎抓取网站页面,最常用的就是使用robots文件,禁止百度蜘蛛爬行和抓取某个文件夹,可以用下面这段代码:

User-agent: Baiduspider

Disallow: wenjianjia/

这里简单解释下几个字段概念:

Baiduspider:这个是百度搜索引擎蜘蛛;

Disallow:这表示禁止,不需要蜘蛛抓取;

wenjianjia/:这里替换你要禁止百度蜘蛛爬行的文件夹名,这里要注意下,如果在文件夹名称的后面加了 / ,就表示禁止抓取文件夹下面的页面,比如说www.test.com/wenjianjia/abc.html,但是www.test.com/wenjianjia/这个栏目页面还是会被抓取的。所以,想要www.test.com/wenjianjia/也不被抓取的话,就要去掉后面的 / ,也就是下面这样的代码:

User-agent: Baiduspider

Disallow: wenjianjia

关于SEO怎么禁止百度蜘蛛爬某个文件夹的问题,本文就简单的介绍到这里,总之使用robots文件是比较方便的,大家可以使用上面的代码,修改成自己的文件夹名称即可。如果要禁止两个文件夹,那就多复制一行,比如:

User-agent: Baiduspider

Disallow: wenjianjia_one/

Disallow: wenjianjia_two/


文章题目:SEO怎么禁止百度蜘蛛爬某个文件夹
分享链接:http://bzwzjz.com/article/epedeo.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都响应式网站建设 成都网站设计 成都响应式网站建设 网站建设开发 重庆企业网站建设 专业网站设计 重庆企业网站建设 成都网站建设 成都网站建设公司 移动手机网站制作 成都商城网站制作 成都网站制作 成都网站设计公司 网站建设 成都定制网站建设 成都网站制作 成都网站建设 外贸网站建设 定制级高端网站建设 网站设计 网站设计 成都网站建设