爬虫如何来遍历爬取!

好几天没有更新文章了,不知道该写一些什么了。后知在这段时间里,发现自己是越来越菜了,好多东西掌握的不够踏实。后知的这个河北SEO博客,起初就是为了做好排名,之后又觉得没有什么意义,就直接是和大家分享东西的了。把排名没有放在心上了,反而石家庄SEO、石家庄优化这两个关键词倒是上去了。这一段时间内,发现用数据分析来做SEO是越来越重要了,同样也感觉到做SEO要基于了解搜索引擎的基础上来做,这里后知和大家说下搜索引擎爬虫抓取的两种方式,希望哪里不对的地方进行拍砖。
      首先,搜索引擎爬虫在进行抓取的时候,会采取两种方式来抓取:深度优先和宽度优先的方式进行爬取。
      第一种,深度优先遍历抓取。深度优先抓取就类似后知博客这样的,石家庄SEO首页>石家庄网站优化基础>下级栏目,首选抓取是以这样的方式来抓取的,等到抓取完毕这些栏目之后,在进行抓“石家庄网站优化基础”栏目下的文章,这样就是深度优先策略,类似于家庭关系一样。长子、次子然后是长孙等这样的关系,后知博客没有那么深的栏目,所以看不到这样的效果。
      第二种,就是宽度优先的遍历抓取。这种方式的抓取,深度是不断的在增加的。类似于这样的“首页 > SEO技术 > 网站日志如何分析”爬虫来的你网站,会顺着一个栏目一级级向下抓取,等这个“SEO技术”栏目下被抓取完毕后,在进行其子下一个栏目。这样的宽度抓取是有一定的原因的,基于网站布局的问题,往往是重要的页面距离种子站点(种子站点是爬虫开始抓取癿起点)是比较近的,这样符合习惯。所以,你可以看到一个大型门户站点,最容易看到的是一些实事新闻,这点是距离种子站点越近可以理解为越重要的页面;其次,中文万维网的深度没有我们想象的那么深,到达一个网页路径不仅仅是一个,所以爬虫总能找到最近的路径到达当前页面,据相关数据表明中文万维网的深度为17;还有一点就是,多爬虫的合作策略,基于这个规则大部分的抓取的起始网页为站内的,逐渐的才会转向站外的链接,抓取的封闭性是比较强的。
        基于上述的两种抓取方式,我们可以看出,我们尽可能的节省爬虫的抓取时间,因为爬虫到你网站的时间是一定的,缩短其单页面的抓取时间会提高你网站的抓取量,进而会影响你网站的收录量,最终能够影响到你网站的SEO流量。根据以上两种方式,来合理布局你网站的内容,让爬虫能够很容易的抓取到你想要被抓取的东西,这样合理的布局好内容,让网站的seo流量有一个突破瓶颈的提升。
       本文首发于后知博客:http://www.hozseo.com/

打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮