网上robots的写法，说法一大堆，也不知谁对谁错，到底robots该克制那些文件呢？今天小六也许总结一下：
首先说明一点：天天百度派出的蜘蛛是有限的，robots写出来是为了节约蜘蛛资源让蜘蛛能更快的举行有用爬取和收录！
针对企业站来说，自己蜘蛛资源不会许多，以是我们更要珍惜蜘蛛的每次爬取，让其都有意义，不要去爬取一些无价值的页面，浪费了蜘蛛资源，从而导致网站迟迟未收录，没排名等情形！
下面举例列出来：
1、模板文件(/template/)可以屏障；
2、这个文件/uploads/一样平常放的是图片，可以屏障；
3、/data/系统数据文件，可以屏障；
4、/img/或/images/，若是你不是做的图片站，也可以屏障；
5、/bin/系统文件可以屏障；
6、/install/安装文件可以屏障；
7、/member/有会员的可以屏障；
8、/logreport/有统计讲述的可以屏障；
9、/bjk/有加密的文件，可以屏障；
10、/js/，/css/可以屏障，留着是为了让蜘蛛更好地领会网站结构，资源少的情形下，可以屏障。
11、网站舆图，sitemap要记得放进去，不要屏障，让蜘蛛第一时间去看你的网站舆图，更快领会网站链接结构！
总结到此，希望对人人有些辅助！
相关知识：
robots编写秘笈，新手必看！
(责任编辑：网络)
评论列表