一、什么是搜索引擎协议： 搜索引擎协议也就是我们常说的robots.txt。这是我们网站和搜索引擎之间的协议。当搜索引擎来到我们网站的时刻，会先看一看有没有这个文件，在举行下一步的抓取。然则需要注重的是，这个协议只是我们单方面的，搜索引擎遵守与否，我们管不了。然则正常情况下搜索引擎会遵守这个协议。 robots.txt语法： 1.基本语法： User-agent 界说协议的搜索引擎。 Disallow 不允许抓取 Allow 允许抓取 * 通配符，代表所有 $ 结束符 2.详情解说： User-agent: * 所有的搜索引擎都要遵守 PS：1.英文的首字母一定要大写。下同。2.问号一定是英文状态下的。下同。3.问号之后一定要有一个空格。下同。 User-agent: Baiduspider 针对百度的协议 Disallow: / 屏障全站 Disallow: /can/ 屏障can文件下的所有文件 Allow: /can/123 屏障can文件下的所有文件，然则允许收录123 Disallow: /*.jpg$ 屏障所有的图片文件。 PS：使用通配符，一定要有结束符。否则可能导致正常的路径被屏障。二、那些情况需要使用robots 1.统一路径 在我们的网站中，指向页面的路径一定是有且只有一个。一旦多途径指向一个页面，会导致百度不知道收录谁人页面。以是我们只要屏障了一个，让百度收录我们想让收录的。 2.搜索路径 若是我们网站中有搜索框，那么我们就要把搜索效果页面给屏障掉。目的就是为了防止有人使用这个搜索框捣乱。 3.标签路径 若是我们网站有标签页面，这个标签页面就是中文的链接，中文链接百度不认识，以是要屏障。 4.js文件 对于js文件或者其他无意义的文件，我们都可以屏障掉。 注重事项： 1.基础语法中PS的点。 2.生效时间 robots是我们和搜索引擎之间的一个单方面的协议，不是我们今天写上，明天百度就会遵守。想让百度遵守是需要一个历程的，一样平常情况下是两个月。然则也不清扫当天写，当天生效。以是在更改robots的时刻，一定要小心小心再小心。一旦你的robots错了，对整个网站的影响是伟大的。 3.不要随便的屏障整站 一些新手在做网站的时刻，没有计划，随搭随建，网站不能一下子做好，经常做个半截，以是许多新手就会将我们的网站所有屏障掉。若是你真的这么做了，那么我要恭喜你，蜘蛛可能在未来的两个月中不来接见你的网站。即便是你去请蜘蛛也不会来。以是这里给新手的建议就是一定要对网站计划好，一次性搭建完成。守候收录。
相关知识拓展：
robots详细该克制哪些文件？
(责任编辑：网络)
评论列表