网络营销教程SEO 第四章.搜索引擎优化基础(第二节)
一什么是搜索引擎爬虫程序
网络爬虫(又被称为网页蜘蛛,网络机器人,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁,自动索引,模拟程序或者蠕虫。
这些处理被称为网络抓取或者蜘蛛爬行。很多站点,尤其是搜索引擎,都使用爬虫提供最新的数据,它主要用于提供它访问过页面的一个副本,然后,搜索引擎就可以对得到的页面进行索引,以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务,例如检查链接,确认html代码;也可以用来抓取网页上某种特定类型信息,例如抓取电子邮件地址(通常用于垃圾邮件)。
一个网络蜘蛛就是一种机器人,或者软件代理。大体上,它从一组要访问的URL链接开始,可以称这些URL为种子。爬虫访问这些链接,它辨认出这些页面的所有超链接,然后添加到这个URL列表,可以称作检索前沿。这些URL按照一定的策略反复访问。
二爬虫程序的种类以及分辨
搜索引擎派出他们的爬虫程序去访问、索引网站内容,但是由于搜索引擎派爬虫程序来访会在一定程度上影响网站性能。在你的服务器日志文件中,可见每次访问的路径和相应的IP 地址,如果是爬虫程序来访, 则user-agent 会显示 Googlebot 或MSNBot等搜索引擎爬虫程序名称,每个搜索引擎都有自己的user-agent,以下分别列出国内主要的爬虫程序。
百度 baidu.com—-Baiduspider
http://www.baidu.com/search/spider.htm
谷歌 google.com—-Googlebot
http://www.google.com/bot.html
雅虎 yahoo.com—-Yahoo
http://misc.yahoo.com.cn/help.html
有道 yodao.com—-YodaoBot
http://www.yodao.com/help/webmaster/spider/
搜搜 soso.com—-Sosospider/Sosoimagespider
http://help.soso.com/webspider.htm
http://help.soso.com/soso-image-spider.htm
搜狗 sogou.com—-sogou
http://www.sogou.com/docs/help/webmasters.htm
微软 msn.com—-msnbot
http://search.msn.com/msnbot.htm
第三节 认识主流搜索引擎
1关于百度
百度公司(baidu.com,inc)于1999年底成立于美国硅谷,它的创建者是在美国硅谷有多年成功经验的李彦宏先生及徐勇先生。2000年1月,百度公司在中国成立了它的全资子公司-百度网络技术(北京)有限公司,随后于同年10月成立了深圳分公司,2001年6月又在上海成立了上海办事处。
百度的名字寄托着百度公司对自身技术的信心,另一层含义就是突破“事儿做到九十九度就是做到头”的西方说法,百度就是想要力争做到一百度,做到顶上开花的境界。
百度公司不同于一般意义上的网络公司。它既不是着眼于互联网内容的提供,也不是门户网站,而是一家立足于自主掌握并提供互联网核心技术的技术型公司。在中国互联网经济迅猛发展的今天,百度公司结合世界先进的网络技术、中国语言特色以及中国互联网经济发展的现状,开发出了中国互联网信息检索和传递基础设施平台,并且运用最先进的商业模式,直接为整个中国的互联网提供高价值的技术性服务互联网产品,是中国最优秀的互联网技术提供商。
百度公司自进入中国互联网市场以来,就一直以开发真正符合中国人习惯的、可扩展的互联网核心技术为使命。百度所坚持的目标就是为提高中国互联网的技术成份,帮助中国互联网更快地发展而努力。为此,百度不仅带来解决互联网基础问题(信息搜索和信息传递)的产品,而且带来了硅谷式的企业文化以及互联网应用崭新的理念。现在,百度拥有3条产品线,除已被业界广为认可的门户网站中文搜索引擎外,还有服务于企业的高针对性的搜索产品-百度网事通,以及网站加速技术。百度的出现为中国互联网树起了民族技术的一面旗帜,将原来中国互联网依赖于外国网络技术的局面打破。
百度以自身的核心技术“超链分析”为基础,提供的搜索服务体验赢得了广大用户的喜爱;超链分析就是通过分析链接网站的多少来评价被链接的网站质量,这保证了用户在百度搜索时,越受用户欢迎的内容排名越靠前。百度总裁李彦宏就是超链分析专利的唯一持有人,目前该技术已为世界各大搜索引擎普遍采用。
百度拥有全球最大的中文网页库,目前收录中文网页已超过20亿,这些网页的数量每天正以千万级的速度在增长;同时,百度在中国各地分布的服务器,能直接从最近的服务器上,把所搜索信息返回给当地用户,使用户享受极快的搜索传输速度。
百度每天处理来自超过138个国家超过数亿次的搜索请求,每天有超过7万用户将百度设为首页,用户通过百度搜索引擎可以搜到世界上最新最全的中文信息。2004年起,“有问题,百度一下”在中国开始风行,百度成为搜索的代名词。
百度还为各类企业提供软件、竞价排名以及关联广告等服务,为企业提供了一个获得潜在消费者的营销平台,并为大型企业和政府机构提供海量信息检索与管理方案。百度的主要商业模式为竞价排名(P4P,PayforPerformance),即为一种按效果付费的网络推广方式,该服务为广大中小企业进行网络营销提供了较佳的发展机会,但同时也引起了一些争议;有人认为该服务会影响用户体验。
2关于谷歌
(1)关于Google
Google公司(GoogleInc.,NASDAQ:GOOG),是一家美国的上市公司(公有股份公司),于1998年9月7日以私有股份公司的型式创立,以设计并管理一个互联网搜索引擎;Google公司总部位于加利福尼亚山景城,在全球各地都设有销售和工程办事处。Google网站于1999年下半年启动;2004年8月19日,Google公司的股票在纳斯达克(Nasdaq)上市,成为公有股份公司。Google公司的总部称作“Googleplex”,位于美国加州圣克拉拉县的山景城(MountainView)。在共创办人拉里•佩奇退下后,Novell公司的前任行政总裁,埃里克•施密特(Eric E.Schmidt)博士,成为了Google公司的行政总裁。
本文转载自草根之家 www.uusem.com
2006年4月12日,Google公司行政总裁埃里克•施密特在北京宣布该公司的全球中文名字为“谷歌”(有报道指出取义“丰收之歌”,不过亦有报道指出取义“山谷之歌”)。同时,Google公司于2006年2月15日在台湾地区登记之分公司取名为“美商科高国际有限公司”。此前,在一份中国国际经济贸易仲裁委员会域名争议解决中心裁决书中,公司被称为“科高公司”。该公司亦拥有“谷歌.cn”、“谷歌.中国”、“咕果.com”(但不拥有“咕果.中国”及“咕果.公司”)等中文域名。尽管中文用户在除其英文名外更常称Google为“古狗”或“狗狗”,其中文域名“古狗.com”、“古狗.cn”、“古狗.中国”等均已被其他公司抢注。此外,Google在北京的分公司曾使用“咕果”作为合约签订以及网络招聘的中文译名。北京时间(UTC+8)2006年4月17日凌晨1时左右,Google简体中文网站正式出现“谷歌”字样(其他地区依旧仅显示“Google”)。Google中国对“谷歌”的解释是“播种与期待之歌,亦是收获与欢愉之歌”,并称此名称是经Google中国的全体员工投票选出。谷歌”发布不久,即遭到很多用户的批评。随后,部分中文用户发起反对“谷歌”的网上签名活动。但Google中国坚持使用“谷歌”作为正式名称,但在实际中仍然存在“谷歌”、“Google中国”混用的现象。完成该使命的第一步始于Google 创始人 Larry Page 和 Sergey Brin在斯坦福大学的学生宿舍内共同开发了全新的在线搜索引擎,然后迅速传播给全球的信息搜索者。Google目前被公认为全球规模最大的搜索引擎,它提供了简单易用的免费服务,用户可以在瞬间得到相关的搜索结果。 当您访问 www.google.com 或众多 Google域之一时,您可以使用多种语言查找信息、查看股价、地图和要闻、查找美国境内所有城市的电话簿名单、搜索数十亿计的图片并详读全球最大的Usenet 信息存档 – 超过十亿条帖子,发布日期可以追溯到 1981 年。用户不必特意访问 Google主页,也可以访问所有这些信息。
(2)Google 技术
Google 秉持着开发“完美的搜索引擎”的信念,在业界独树一帜。所谓完美的搜索引擎,就如公司创始人之一 Larry Page所定义的那样,可以“确解用户之意,切返用户之需”。为了实现这一目标,Google坚持不懈地追求创新,而不受现有模型的限制。因此,Google 开发了自己的服务基础结构和具有突破性的 PageRank™技术,使得搜索方式发生了根本性变化。
Google的开发人员从一开始就意识到:要以最快的速度提供最精确的搜索结果,则需要一种全新的服务器设置。大多数的搜索引擎依靠少量大型服务器,这样,在访问高峰期速度就会减慢,而Google 却利用相互链接的 PC 来快速查找每个搜索的答案。这一创新技术成功地缩短了响应时间,提高了可扩展性,并降低了成本。这也是其他公司一直在效仿的技术。与此同时,Google从未停止过对其后端技术的改进,以使其技术效率更高。
Google搜索技术所依托的软件可以同时进行一系列的运算,且只需片刻即可完成所有运算。而传统的搜索引擎在很大程度上取决于文字在网页上出现的频率。Google使用 PageRank™技术检查整个网络链接结构,并确定哪些网页重要性最高。然后进行超文本匹配分析,以确定哪些网页与正在执行的特定搜索相关。在综合考虑整体重要性以及与特定查询的相关性之后,Google可以将最相关最可靠的搜索结果放在首位。
PageRank 技术:通过对由超过 50,000 万个变量和 20 亿个词汇组成的方程进行计算,PageRank能够对网页的重要性做出客观的评价。PageRank 并不计算直接链接的数量,而是将从网页 A 指向网页 B 的链接解释为由网页 A对网页 B 所投的一票。这样,PageRank 会根据网页 B 所收到的投票数量来评估该页的重要性。
优友网

