欢迎光临
我们一直在努力

5条简单命令分析百度蜘蛛的爬行记录

百度和google是站长们的衣食父母,而做好搜索引擎优化的第一步就是蜘蛛的抓取,以下5条简单的Linux命令可以让你清楚的了解蜘蛛的爬行情况做到有的放矢。

请首先看看日志文件的大小,如果特别大的话(比如:超过50MB)建议不要用这些命令分析,因为这些命令较消耗CPU,或者抓下来放到分析机上执行,以免影响网站的速度。如果是Dreamhost等共享主机的话,分析大日志很消耗CPU,进程很容易被Kill掉。

这些命令都是Linux下的shell命令,在Windows主机下无法执行。

一 百度蜘蛛爬行的次数
cat access.log.2009-04-18 | grep Baiduspider+ | wc

这代表百度蜘蛛一共爬行了173次

二 百度蜘蛛的详细记录(如果记录很长不想看了可以Ctrl+C终止)
cat access.log.2009-04-18 | grep Baiduspider+

你也可以用如下命令:

cat access.log.2009-04-18 | grep Baiduspider+ | tail -n 100
cat access.log.2009-04-18 | grep Baiduspider+ | head -n 100

只看最后100条或者最前100条

三 百度蜘蛛抓取首页的详细记录
cat access.log.2009-04-18 | grep Baiduspider+ | grep "GET / HTTP"

初步研究发现,百度蜘蛛对首页非常热爱,24小时每小时都要看我的某个新站的首页,而googe和yahoo蜘蛛更喜欢内页,一天中各自只看了2次首页。不知道是真的有这个规律还是只是我的小站这样。

四 Baidu蜘蛛派性记录时间点分布

cat access.log.2009-04-18 | grep "Baiduspider+" | awk ‘{print $4}’

五 Baidu蜘蛛爬行页面按次数降序列表

cat access.log.2009-04-18 | grep "Baiduspider+" | awk ‘{print $7}’ | sort | uniq -c | sort -r

本文中的每条命令把Baiduspider+改成Googlebot都可以查看Google的对应的数据。

附:(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录
cat access.log.2009-04-18 | grep Mediapartners

Mediapartners-Google是什么?Google adsense广告之所以能与内容相关,就是因为每个包含着adsense的广告被访问后,几秒钟内就有一个Mediapartners-Google蜘蛛来到这个页面,所以几分钟后再刷新就能显示相关性广告了。

赞(0) 打赏
未经允许不得转载:优友网 » 5条简单命令分析百度蜘蛛的爬行记录
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

大前端WP主题 更专业 更方便

联系我们联系我们

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏