王尘宇

seo优化手艺中robots是一个文件，而不是一个参数，人人不要混淆。
robots.txt文件主要的作用告诉搜索引擎的蜘蛛爬行的局限，应该去爬行的目录和克制爬行的目录。一样平常是在根目录下。

蜘蛛爬行robots文件巧妙之处 图

seo优化手艺中Robots文件在什么时候用对照合理那。

其一：我们遇到网站升级，老版本许多网页，在新版本的一些页面下不存在，在这种情形下可以通过 Robots文件告诉蜘蛛不再抓取这些已经被去掉的页面了。

网站重复页面过多，好比同时生产了动态和静态两种页面，重复页面过多，占用蜘蛛大量的爬行时间，我们为了解决这个问题，就可以用Robots文件中克制蜘蛛抓取动态页面。

其二：网站的内容不便于公然，然则我们为了以后查看利便，这种情形，可以用Robots文件告诉蜘蛛不要爬取。

Robots详解文件的写法：

User-agent: 示意：允许搜索引擎抓取

Allow: /anc/see

Allow: /tmp/hi

Allow: /joe/256

Disallow: /cgi-bin/

Disallow : /tmp/

Disallow: /peixun/

若是网站都允许搜索引擎抓取写法：

User-agent: Allow: / 示意：允许搜索引擎抓取所有内容

Alow是允许蜘蛛爬行的页面,而 Disallow后面则是不允许蜘蛛接见的路径和文件

Robots 特殊网站案例：

(1)仅允许接见某目录下某个后缀的文件。这里仅允许接见带ldquo;rdquo;符号的网址,如下。

User-agent:

Allow: .htm

Disallow:/

(2)克制索引网站中所有的动态页面。这里是限制接见带ldquo;rdquo;的网址,例如, index. aspid1

User-agent:

Disallow : /

(3)使用ldquo;rdquo;,限制接见带某个后缀的域名。这里是克制接见 admin目录下所有htm文件,如下。

User-agent:

Disallow: /admin/.htm

(责任编辑：网络)