王尘宇

看到许多网站都没有robots文件，那么一个通例的robots.txt文件应该要这么写呢，小编今天给人人来说说robots.txt怎么写,robots文件通例的写法。

上图是小编的robots文件，我的小我私家博客是织梦的系统，织梦默认是有部门robots文件的，小编先给人人解释一下其中的写法。

1、允许所有搜索引擎接见 User-agent: * Allow:

2、克制所有搜索引擎接见 User-agent: * Disallow: /

3、网站舆图：Sitemap:

哪些页面要用robots.txt屏障

知道怎么写了，但许多同伙照样不知道哪些页面需要屏障，让搜索引擎不被接见，实在很简单，不想被搜索引擎抓取的页面就屏障，那么哪些页面是我们不想被搜索引擎抓取的呢。

空缺页面：什么是空缺页面，好比注册页面、联系我们、关于我们等页面属于空缺页面，由于这种页面在搜索引擎看来是没有意义的，没有人会搜索注册来到你的网站。

后台页面：后台是不被搜索引擎收录的，以是我们需要robots屏障后台上岸页面。

动态页面：通常情况下，我们网站都会做伪静态，那么动态页面我们会屏障掉。

总结：robots文件有必要写，一来给搜索引擎做个更好的第一印象，其次是给搜索引擎做一个网站舆图。

(责任编辑：网络)