如何设置Robots协议
如何设置Robots协议什么是Robots协议？
Robots协议也称为爬虫协议、机器人协议，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议一般是一个文本文件，命名为robots.txt并且存放在网站根目录。Robots协议的作用：1、告诉搜索引擎网站上面的页面哪些可以抓取，不该抓取的就不要抓取。2、告诉搜索引擎可以重点或者首先抓取哪个页面，配合网站地图效果更佳。如何设置Robots协议？工具：http://tool.chinaz.com/robots/Robots协议一般命名为robots.txt，存放在网站根目录。备注：如果网站根目录没有robots.txt，那么说明该网站允许所有搜索引擎抓取。
页:
[1]