欢迎光临
我们一直在努力

百度蜘蛛分析(经典)

先说明下,不是我写的,是网上收集再整理的,有不正确的下面的回复说明,虚心请教。如果感觉本文有用 就给我加点分 呵呵!

      如果用虚拟主机的朋友,可以FTP的你的空间上找到logfiles文件夹,下面的.log文件就是IIS日志了。

  研究se爬行规律对于网站优化意义重大,特别是对百度蜘蛛Baiduspider的研究。本文解释一下百度蜘蛛爬行后返回代码代表的具体含义:

  2xx 成功

  200 正常;请求已完成。

  201 正常;紧接 POST 命令。

  202 正常;已接受用于处理,但处理尚未完成。

  203 正常;部分信息 — 返回的信息只是一部分。

  204 正常;无响应 — 已接收请求,但不存在要回送的信息。

  3xx 重定向

  301 已移动 — 请求的数据具有新的位置且更改是永久的。

  302 已找到 — 请求的数据临时具有不同 URI。

  303 请参阅其它 — 可在另一 URI 下找到对请求的响应,且应使用 GET

方法检索此响应。

  304 未修改 — 未按预期修改文档。

  305 使用代理 — 必须通过位置字段中提供的代理来访问请求的资源。

  306 未使用 — 不再使用;保留此代码以便将来使用。

  4xx 客户机中出现的错误

  400 错误请求 — 请求中有语法问题,或不能满足请求。

  401 未授权 — 未授权客户机访问数据。

  402 需要付款 — 表示计费系统已有效。

  403 禁止 — 即使有授权也不需要访问。

  404 找不到 — 服务器找不到给定的资源;文档不存在。

  407 代理认证请求 — 客户机首先必须使用代理认证自身。

  410 请求的网页不存在(永久);

  415 介质类型不受支持 — 服务器拒绝服务请求,因为不支持请求实体

的格式。

  5xx 服务器中出现的错误

  500 内部错误 — 因为意外情况,服务器不能完成请求。

  501 未执行 — 服务器不支持请求的工具。

  502 错误网关 — 服务器接收到来自上游服务器的无效响应。

  503 无法获得服务 — 由于临时过载或维护,服务器无法处理请求。

  比如说:

  2008-10-27 04:25:32 61.135.145.208 – *.*.*.* 80 GET /index.html

– 304 Baiduspider+(+[url]http://www.baidu.com/search/spider.htm[/url])

  这就意味着百度蜘蛛在2008-10-27 04:25:32 爬过/index.html这一页,

304代表了它发现这页是没有更新过的。根据这个我们可以多查看iis日志,

研究蜘蛛爬行的路径,找出自己网站存在的问题,进而改正。

  返回的http状态诸如200 0 64分析说明

  在百度研究院的论坛里看到一位版主有这样的一段解释:

  蜘蛛在IIS里的行为200 0 64 的解释:

  根据我前段时间到现在的观察,虽然没有足够的证据,但是基本上可以

肯定在IIS中,如果蜘蛛后面的号码出现200 0 64,那么网站中的这个单页面

就会在搜索引擎中消失了.我被K的页面后面都写着200 0 64 ,不知道大家是

否认同,还有其他看法,当然,我说这个不够绝对,因为我也有一个页面后面

显示着200 0 64 但是在搜索引擎中依旧可以找到.这也说明着问题,但大多

200 0 64行为的网页就已经没有了.

  所以我觉得蜘蛛的200 0 64行为可以被解释为清除数据。

  这个解释,目前看 上去还是有可信度的。我认为,抓取状态成200 0 64

是不正常的抓取,正常的抓取是成功标志200 0 0,当变成了200 0 64的状态

时说明搜索引擎在抓取这个页面的时候出现了错误,没有正常的进行常规抓

取;对于百度来说,百度很可能是已经不再把这些页面抓进主索引库,而是放

进了“百度沙盒”里进行考察,考察多久,就看你如何改进,也许,你看不

到百度把这些被K的网站释放出来的时候,人是没有规律的。

  正好,我手上也有被百度K的网站,打开这个网站的IIS日志(.log后缀,

如ex080222.log),果不其然,也发现了百度返回200 0 64的状态:

  2008-02-22 07:14:37 W3SVC78302822 58.17.36.91 GET

/article/1/79.html – 80 – 61.135.163.102 Baiduspider+

(+[url]http://www.baidu.com/search/spider.htm[/url]) 200 0 64

  2008-02-22 07:18:07 W3SVC78302822 58.17.36.91 GET

/article/1/11.html – 80 – 61.135.163.102 Baiduspider+

(+[url]http://www.baidu.com/search/spider.htm[/url]) 200 0 64

  对于已经被百度拔毛的网站来说,如果你还在乎百度,那就赶紧改正网

站上的一切作弊的地方,消除过度优化,消除恶意链接,等待百度再次光临

,一般来说,这需要2-3个月的时间,还是认真做站,先想着用户为好。

赞(0) 打赏
未经允许不得转载:优友网 » 百度蜘蛛分析(经典)
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

大前端WP主题 更专业 更方便

联系我们联系我们

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏