robots.txt是放在网站根目录之下的一个文件，不是供用户查看，而是供搜索引擎查看的。当搜索引擎蜘蛛爬行网站时，可以通过robots文件明白自己的访问权限。robots文件不是像W3C那样指定的网络规范协议，而是由许多搜索引擎定制的。
虽然我们知道了robots文件的含义是什么，但是robots文件对于站点SEO优化有什么作用呢?robots文件对于网站seo有一定的作用，要对其熟练的进行运用，主要有以下五个方面促进网站优化推广，因为robots文件是针对搜索引擎，所以运用得好，可以增加搜索引擎的抓取网站的体验度，从而增加量网站的收录量。
1.屏蔽网站的空、死链接
由于网站内容的修改和删除，很容易导致网站中的一些内部链接变成空链或死链。通常我们会定期检查网站的空链和死链，提取这些链接，将它们写入robots文件中，防止搜索引擎抓取这些链接。这种方法是有效的，因为修改已经收录的内容将使搜索引擎再次爬行修改过的页面，并且再次判断是否收录，如果没有的话就会继续收录，则会得不尝失。
2.防止蜘蛛爬取网站的重复内容
因为很多网站上的动态页面搜索引擎都不能收录，所以很多时候我们需要为这些动态页面开发一个静态页面，以帮助搜索引擎收录。这是为了不让搜索引擎抓取重复的内容，减少站内页面的关键词的权重竞争。
3.防止蜘蛛抓取无意义的内容，浪费服务器资源
网站上有很多无意义的内容，如网站的各种脚本代码、CSS文件和PHP文件等，这些文件对于网站优化毫无意义，抓取这些网站不仅不会收录，还会浪费服务器资源。
4.保护网站隐私内容
网站上有很多的页面都有一定程度的隐私，如用户接受的推送或者推购物车等，虽然这些链接在一个页面上，但显然是不希望搜索引擎抓取的内容。
5.有利于网站的调试
网站在初次上线之前都会有一定的错误，需要一段时间的调试，然后再对搜索引擎开放爬行，在调试期间，你可以将robots文件设置成对所有的搜索引擎都处于拒绝爬行的状态，等到所有的错误修改完成后在修改robots文件。
每次修改robots文件后都需要到搜索引擎站长平台上提交robots文件更新提醒，因为搜索引擎更新网站的状态是需要一定的时间，只有手工提交才能使更新后的robots文件生效。