优友网 对这三个总是模模糊糊的，不是很清楚，今天把这三大蜘蛛协议搞明白：
1、robots.txt文件协议：指导搜索蜘蛛爬行，禁止蜘蛛抓取无价值的网页，让蜘蛛轻松抓取Baiduspider遵守互联网robots协议。用robots.txt来指导搜索蜘蛛爬行。robots.txt文件就是用来告诉搜索蜘蛛对于一个网站的页面，哪些可以爬取收录，哪些不可以。不需要给百度收录的页面不要给百度爬，让百度爬虫轻松点，况且百度抓取你网页也会占用你的服务器宽带。
robots.txt文件放置在网站根目录下。可把网站地图sitemap.xml链接写入robots.txt
当spider访问一个网站，首先会检查该网站中是否存在robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。如果你没有Robots.txt文件，那么当搜索蜘蛛抓取Robots.txt文件的时候，你的服务器会自动反馈404错误。所以，如果你不想使用Robots.txt来引导搜索蜘蛛，你也最好上传一个空白文件作为你的Robots.txt。
2、robots meta 标签协议（元标志）：某些特殊网页需求，是否收录该网页是否跟踪该页面的链接（关于页、广告链接页、垃圾留言链接）
写在网页的<head>部分里。
the robots meta tag中可使用的指令有：多个指令用“，”分隔。索引即快照收录
Index（可以索引本页）和noindex，（不可以索引本页）
follow（跟踪本页链接）和nofollow（不可以跟踪本页链接）
All=Index，follow（表示可以索引本页，且可跟踪该页链接）和None=noindex，nofollow（表示不允许索引本页，且不跟踪该页链接）
<meta name=“robots” content=“noindex”>不索引本页，但可跟踪本页的链接
<meta name=“robots” content=“noindex，follow”>意义同上
<meta name=“robots” content=“nofollow”>索引本页，但不跟踪此网页的链接（利于提高本页权重）
<meta name=“robots” content=“noindex，nofollow”>不索引本页也不跟踪此网页的链接（比如你调用的广告单页，没必要收录此页也没必要跟踪广告的链接，利于提高权重）
<meta name=“robots” content=“none”>意义同上
<meta name=“robots” content=“noarchive”>在搜索结果中不显示网页的快照时间
3、nofollow属性：对于某些单个无价值的链接需求
<ahref=“signin.php” rel=“nofollow”>signin</a>不跟踪某条特定链接
不跟踪无价值的链接（关于简介页、广告链接、垃圾留言链接），不分散网页权重，提高网站权重。比如：联系我们、关于我们、隐私保护、公司简介等的链接可以把它们nofollow掉，这样首页的PR值就不会传输给他们。因为，他们有太多的PR值显然没用。
本文来源：海外SEO，原文地址：http://www.haiwaiseo.com/english-GOOGLE-paiming/robotstxt-wenjian-robots-meta-label-he-nofollow-shuxing/
1、robots.txt文件协议：指导搜索蜘蛛爬行，禁止蜘蛛抓取无价值的网页，让蜘蛛轻松抓取Baiduspider遵守互联网robots协议。用robots.txt来指导搜索蜘蛛爬行。robots.txt文件就是用来告诉搜索蜘蛛对于一个网站的页面，哪些可以爬取收录，哪些不可以。不需要给百度收录的页面不要给百度爬，让百度爬虫轻松点，况且百度抓取你网页也会占用你的服务器宽带。
robots.txt文件放置在网站根目录下。可把网站地图sitemap.xml链接写入robots.txt
当spider访问一个网站，首先会检查该网站中是否存在robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。如果你没有Robots.txt文件，那么当搜索蜘蛛抓取Robots.txt文件的时候，你的服务器会自动反馈404错误。所以，如果你不想使用Robots.txt来引导搜索蜘蛛，你也最好上传一个空白文件作为你的Robots.txt。
2、robots meta 标签协议（元标志）：某些特殊网页需求，是否收录该网页是否跟踪该页面的链接（关于页、广告链接页、垃圾留言链接）
写在网页的<head>部分里。
the robots meta tag中可使用的指令有：多个指令用“，”分隔。索引即快照收录
Index（可以索引本页）和noindex，（不可以索引本页）
follow（跟踪本页链接）和nofollow（不可以跟踪本页链接）
All=Index，follow（表示可以索引本页，且可跟踪该页链接）和None=noindex，nofollow（表示不允许索引本页，且不跟踪该页链接）
<meta name=“robots” content=“noindex”>不索引本页，但可跟踪本页的链接
<meta name=“robots” content=“noindex，follow”>意义同上
<meta name=“robots” content=“nofollow”>索引本页，但不跟踪此网页的链接（利于提高本页权重）
<meta name=“robots” content=“noindex，nofollow”>不索引本页也不跟踪此网页的链接（比如你调用的广告单页，没必要收录此页也没必要跟踪广告的链接，利于提高权重）
<meta name=“robots” content=“none”>意义同上
<meta name=“robots” content=“noarchive”>在搜索结果中不显示网页的快照时间
3、nofollow属性：对于某些单个无价值的链接需求
<ahref=“signin.php” rel=“nofollow”>signin</a>不跟踪某条特定链接
不跟踪无价值的链接（关于简介页、广告链接、垃圾留言链接），不分散网页权重，提高网站权重。比如：联系我们、关于我们、隐私保护、公司简介等的链接可以把它们nofollow掉，这样首页的PR值就不会传输给他们。因为，他们有太多的PR值显然没用。
本文来源：海外SEO，原文地址：http://www.haiwaiseo.com/english-GOOGLE-paiming/robotstxt-wenjian-robots-meta-label-he-nofollow-shuxing/
