王尘宇

搜刮引擎做为网站流量的重要来源，网站的收录量天然是大部门网站运营人员关心的问题。

先明白一些根本点，一个网页被收录与否，有两个因素：

能否被爬虫爬过

页面量量能否过关

之前提过了收录率那么一个目标，良多网站都懒得去做那个目标，我看看site的数据不就行了!，事实上没有那个目标，良多工做就无从下手。从数据中找出问题，操纵数据指点处理计划，阐发数据验证工做功效。 比来看了《深切浅出数据阐发》那个本，觉得不错，把数据阐发的办法讲得很生动，建议有兴趣的处置数据阐发的同窗能够买本看看。任何数据阐发由目的->阐发->评估->决策，四个环节构成。

目的：我们想看一下网站的收录情况若何，在SEO方面能否还有进步的时机。

阐发：收录情况什么算好什么算坏，是不是用一些目标来权衡?网站的收录情况是不是过于笼统，是不是应该细分下各个页面的收录情况?

评估：于是我们需要下面一些数据

· 网站的页面层级关系

·各个层级页面带来的SEO流量

·各个层级页面的收录情况若何

SEO流量的占比能够从Google Analytics中过滤出来。

页面数量能够从数据库获得，或者通偏激车头or便宜小脚本抓取统计。

收录率能够将获取的页面通过东西停止搜刮，火车头也能够。问题立马凸显!

1+2级目次页带来了大量的流量，收录率不是很好，优化收录的流量提拔打破口在此!

产物页面数量良多，收录也不是很抱负，但是带来的流量有限，除了收录问题，还有页面内容的问题，本文中先不管它了。

决策：我们的结论是立即展开动作对目次页面停止收录的优化。

看到那边，似乎刚起头的目的：通过优化收录提拔流量

演酿成了新的目的：若何进步目次页面的收录量

那边能不克不及再次通过数据阐发的办法停止SEO呢?

谜底是必定的!

我们再来从头走一遍 目的->阐发->评估->决策 的过程

目的：进步目次页面的收录量

阐发：通过本文起头的有关收录的两个因素，我们需要查抄一下，网页能否被爬虫爬行过，网页的量量是不是过关。

关于爬虫的情况，我们需要阐发日记，才气确定。于是我们从日记中拆分一系列数据看看页面能否实的被爬行过。

2. 因为页面量量似乎是一个很难权衡的值，于是我们能够用不异模板下的：已被爬行的页面数量/已被爬行而且被收录页面数量来评估该模板页面量量对收录的影响大小。若是被爬的页面都被收录了，那至少申明那套页面的内容搜刮引擎还算承认。(现实情况远比那个复杂，并且收录后也有可能因为量量问题被删除，但总比什么参照都没有要好，对吧!)

评估：(敏感信息用编号取代，均为实在数据)

先看一下爬虫日记的情况，通过Shell脚本，我们能够阐发出。

目次总计被爬行的次数为13000次摆布

不反复的目次爬行次数为5500次摆布

频道A下的目次几乎被100%抓取过至少1次，频道B的目次抓取也不错，有70%被至少抓过一次。

其余频道下的目次被抓取的笼盖率不到30%

不要觉得那个成果很奇异，其实良多网站城市面临如许的蹩脚问题，只要你把数据不竭的细分，细分，再细分，总会察看出一些眉目的。

关于日记阐发，不要迷信赖何的日记阐发软件，那都是给懒人用的，便宜脚本+Excel才是王道，能够拆分显示出任何你想要的数据，当然，以至能够连Excel都不要。

然后，我们统计了一下被抓得最频繁的频道A和频道B，目次页的收录率

频道A和B是很让人安心的，申明页面量量没问题，但是余下的收录情况就让人比力担忧了。

决策：通过上面的数据评估，我们已经得到了如下结论。

页面量量并非影响收录的原因。

频道A，B的抓取量异常的高，通过查询拜访领会，本来是首页上的目次页，显示的满是频道A下的目次页，首页又拥有全站更高的权重。频道B拥有比其他频道强大的外链资本，权重也十分高。

除了A, B频道，其他频道的抓取情况不容乐不雅，抓取入口太少，太深，进而影响了收录情况。

很明显，如今频道A从站内的角度来说太强大了，必需停止一些劫富济贫的运动来降低频道A的抓取量，转移到其他频道中去。同时，需要给爬虫供给更多的入口抓取频道页。

如今问题变得明晰起来，我们起头把工做分红两部门：

供给更多的入口

将资本平分给各频道而不是集中在少数几个频道上。

供给入口工做：

1.把目次页的URL造做成sitemap。提交给搜刮引擎，而且将其设置为比力高的抓取权重。

2.完美面包屑导航，将面包屑导航划分得愈加详尽，以供给更多入口

3.在其他产物中保举目次页

资本平分工做：(一些概念：肆意页面都有可能成为爬虫入口，百度爬虫抓取深度有限，页面相对入口越浅，被抓取的概率越高。)

1.原先首页指向的都是频道A的目次页+产物页，将其全数nofollow，确保从首页进入的爬虫，全数抓取到频道页，通过频道页再进入目次页(其实那个不算太重要)

2.原先频道页指向本身的产物页，将其全数nofollow(确保从频道页入口的爬虫，更大程度的抓取目次页)

3.从目次页返回到首页的链接，将其全数nofollow。

4.削减一些页面上无关链接。(什么情况下那么做都长短常有效的。)

如今能够起头脱手了。。

功效

那么做到底有什么效果呢，我们来看看修改后1个月后的数据。

目次页的收录率进步了100%!

产物页的收录率也有必然水平的进步，那是归功于目次页关于产物的优良展示。

目次页的SEO表示：

SEO流量占比上升了15%

增长10%的到访关键词数量(新页面的收录)

SEO流量增长了50%以上。(包罗一些季节因素)

文章最初，保举两个更具价值的微信号！！

网站阐发公会 （微信号：idiaa-org）

超越50万名互联网从业人士存眷，互联网运营范畴更具影响力自媒体。我们精心挑选互联网运营阐发，产物战略，数据解读，设想案例等内容，帮忙互联网从业者及时获得专业资讯！

长按指纹→识别图中二维码→添加存眷

互联网贸易察看（微信号：wwwhygc）

互联网行业更具影响力贸易自媒体。

长按指纹→识别图中二维码→添加存眷