robots.txt篇:
1、robots.txt是什么?
搜索引擎使用网络蜘蛛spider程序自动访问互联网上的网页并获取网页信息,而robots.txt是一个纯文本文件,用来告诉网络蜘蛛spider(不仅限搜索引擎蜘蛛)本站中哪些位置允许抓取,哪些位置不允许抓取。spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。
通过设置robots.txt,可以阻止蜘蛛们爬行站点一些不希望被索引的页面,如网站后台、某些图片、某类文件或某个文件,甚至直接屏蔽掉某个搜索引擎(例如:淘宝的robots.txt屏蔽了百度),从而提高蜘蛛的工作效率,把大量精力都放到索引政正常页面上去。
2、怎么设置和放置robots.txt?
建立robots.txt文件并放在网站根目录;如果域名指向到了次目录(如虚拟主机这种同一服务器下很多网站的),在次目录放置的robots.txt文件只对此域名有效。而且,文件名必须小写,如Robots.txt、roBots.txt、robots.TXT都是错误的。
3、robots.txt应该怎么写?
同时包含2个域,“User-agent:”和“Disallow:”,每条指令独立一行。
(1)User-agent:
指定允许哪些蜘蛛抓取,如果给出参数,则只有指定的蜘蛛能够抓取;如值为通配符“*”号,代表允许所有蜘蛛抓取。如:
User-agent: Googlebot
只允许Google的蜘蛛抓取;
User-agent: *
允许所有蜘蛛抓取。
注意:User-agent必须出现在第一行(有意义的行,注释除外),首先声明用户代理。
(2)Disallow:
指定禁止蜘蛛抓取的目录或文件,如:
Disallow: /help.php
禁止抓取根目录下help.php文件;
Disallow: /admin/
禁止抓取根目录下的admin子目录中任何内容;
Disallow:
值为空时,表示不限制,蜘蛛可以抓取站内任何内容。
如果需要指定多个目录或文件,可以用多个“Disallow: 文件或目录名”来指定,但必须每一项单独一行(例如google的robots.txt就很夸张)。
4、robots.txt需要注意的几个问题:
robots.txt文件中任意一行Disallow的值为空,其他指定的项都将失效,整站允许User-agent指定的蜘蛛抓取;robots.txt文件中允许使用注释,以“#”开头的内容被认作注释;但注释最好独立成一行,尽量不要加在参数后面,如“Disallow: /admin/ #manage dir”,某些蜘蛛可能将注释当作值的一部分。
尽量不要在一行的前面出现空格,如“ Disallow: /”,可能某些蜘蛛无法正确读取。
推荐一个robots.txt检查工具:http://tool.motoricerca.info/robots-checker.phtml
5、看几个来自百度的例子:
1)禁止百度索引,淘宝就这么写的
User-agent: Baiduspider
Disallow: /
2)禁止百度抓取JPG图片
User-agent: Baiduspider
Disallow: .jpg$
3)仅允许访问以".htm"为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
4)禁止某些目录,但允许其目录下某些文件被索引
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
总结下来,/代表全部,*代表任意个字符,$代表强制结束符,禁止某个文件夹或者文件的时候要写上/,但禁止一类文件的时候直接写.***即可。
robots Meta标签篇:
1、robots Meta标签是什么?
robots Meta标签放在网页中,一般用于部分网页需要单独设置。与robots.txt的功能是一样的,但是部分搜索引擎不支持robots Meta标签,所以,还是要尽可能的使用robots.txt文件来限制抓取。
2 、怎么设置和放置robots Meta标签?
必须放在<head>和</head>之间,格式:<meta name=”robots” content=”index,follow” />
3、robots Meta标签常用参数及写法?(Googlebot支持的参数)
1)index,follow:允许抓取本页,允许跟踪链接。也可以写成<meta name=”robots” content=”all” />
2)index,nofollow:允许抓取本页,但禁止跟踪链接。(这不同于超链接上的nofollow属性,那个属性只是组织索引单独的链接)
3)noindex,follow:禁止抓取本页,但允许跟踪链接。
4)noindex,nofllow:禁止抓取本页,同时禁止跟踪本页中的链接。也可以写成<meta name=”robots” content=”none” />
5)noarchive:不保存该页面的网页快照。(百度也支持这个参数)例如:
防止所有搜索引擎显示您网站的快照 <meta name="robots" content="noarchive">
允许其他搜索引擎显示快照,但仅防止百度显示 <meta name="Baiduspider" content="noarchive">
6)nosnippet:不在搜索结果中显示该页面的摘要信息,同时不保存该页面的网页快照。
7)noodp:在搜索结果中不使用Open Directory Project中的描述信息作为其摘要信息。
4、如果同时使用robots.txt和robots meta标签会如何?
如果同时使用了robots.txt文件和robots meta标签,如果robots.txt和meta标签有冲突,googlebot将使用限制更严的。具体来说:如果你在robots.txt里禁止了某一页,Googlebot永远也不会去索引那一页,也不会读取那一页的任何标识。如果你在robot.txt中允许,但是在页面中使用 meta标签对其进行限制,那么Googlebots会访问那一页,读取里面的标签,但不会对其进行索引。
5、如果设置了很多robots meta标签会如何?
1)建议把所有的Meta标签内容放在一个meta中。这将使得meta标签更易于读取并降低发生错误的概率。
例如:<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
2)如果一行包含对个meta标签,我们将会累加标签的内容,例如,会将
<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
理解为:<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
3)如果内容的数值有冲突,将使用最严格的那个。所以,如果有个页面包含下面的meta标签:
<META NAME="ROBOTS" CONTENT="NOINDEX">
<META NAME="ROBOTS" CONTENT="INDEX">
我们将只遵守noindex的数值。
Sitemap 篇:
1、如何向Google、Yahoo!、MSN、Ask和百度等搜索引擎提交Sitemap?
搜索引擎都遵循一样的Sitemap协议,baidu Sitemap内容和形式可以和Google Sitemap完全一样。但因为百度还没开通类似Google 网站管理员工具的提交后台,所以,我们需要采用以下方式提交"baidu Sitemap" 。
向Google提交网站地图Sitemap: 通过网址http://www.google.com/webmasters管理提交;
向Yahoo!提交网站地图Sitemap: 通过网址http://siteexplorer.search.yahoo.com管理提交;
向MSN提交网站地图Sitemap: 用URL直接提交:http://api.moreover.com/pingu=http://your.domainname/sitemap.xml这是向MSN直接提交网站地图的后门URL
向百度Baidu提交网站地图Sitemap: 现在百度不支持Sitemap,但可通过http://www.baidu.com/search/url_submit.html来提交你的网址。百度会自行搜索,更新速度很快。
2、将XML格式Sitemap地址放到robots.txt中
这么做的作用是,如果搜索引擎蜘蛛能够识别此行,就能快速获知网站的XML地图文件地址,并将地图文件作为一个URL参考进行高效索引
还是看google的robots.txt中最后面写了好几个Sitemap
Sitemap: http://www.google.com/sitemaps_webmasters.xml
附各大搜索引擎的蜘蛛名称
Google的蜘蛛:
1) Googlebot:从Google的网站索引和新闻索引中抓取网页
2) Googlebot-Mobile针对Google的移动索引抓取网页
3) Googlebot-Image:针对Google的图片索引抓取网页
4) Mediapartners-Google:抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下,Google才会使用此漫游器来抓取您的网站。
5) Adsbot-Google:抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下,Google才会使用此漫游器。
百度(Baidu)蜘蛛名称:Baiduspider
雅虎(Yahoo)蜘蛛名称:Yahoo Slurp
有道(Yodao)蜘蛛名称:YodaoBot
搜狗(sogou)蜘蛛名称:sogou spider
MSN的蜘蛛名称:Msnbot
本文参考资料:
1、google网站质量指南:使用robots.txt 文件拦截或删除网页
2、百度屈指可数的有点意义的搜索帮助中心:禁止搜索引擎收录的方法