robots

Robots协议： 网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 告诉在服务器上什么文件是可以被查看的。