网站robots协议

一、什么是robots协议？

     robots协议即搜索引擎爬虫与网站站点沟通的“桥梁”，网站站点通过robots文件中的声明规则明确告知搜索引擎爬虫哪些文件/目录不可以抓取。

注意：如果网站站点存在不希望搜索引擎爬虫抓取收录的内容是，才有必要创建robots.txt文件，如果您希望搜索引擎收录网站上的所有内容，则无需建立robots.txt文件。

二、robots.txt文件存放位置

   通常网站的robots.txt文件放置在网站根目录下，便于搜索引擎爬虫第一时间抓取该文件。