站点存在多个sitemap网站地图的robots写法

大家都知道如何生成一个sitemap文件并在robots中做好指向设置

百度要求每个sitemap文本文件最多可包含 50000 个网址,并且应小于10MB(10,485,760字节)。如果网站所包含的网址超过 50,000 个,则可将列表分割成多个文本文件,然后分别添加每个文件。

google要求每个sitemap站点地图文件包含的网址不得超过 5 万个,且压缩前的文件大小不得超过 50 MB。如果您的站点地图超过了这些限值,请将其拆分为几个小的站点地图。

为适应百度和google的要求,最标准的地图文件应该:1、小于5万个URL     2、单个文件小于10MB   3、xml格式

但随着网站越来越大,页面越来越多,不可避免的会出现一个sitemap文件不够用的情况,按如上要求,对于此类大型网站,我们会生成sitemap1.xml、sitemap2.xml、sitemap3.xml……等多个文件,而sitemap.xml则成为了这些文件的索引目录,其书写格式与纯地图文件也不一样,尤其使用第三方工具,比如用sitemapX生成的索引文件,格式都是错误的!地图索引文件代码可参考百度http://zhanzhang.baidu.com/wiki/93#02或google的http://support.google.com/webmasters/answer/71453说明文档。

地图索引文件sitemap.xml和地图文件sitemap1.xml、sitemap2.xml、sitemap3.xml……全部做好并上传到网站根目录之后,还要做两件事情,第一,确认robots书写是否正确,第二,向搜索引擎重新提交地图文件。

很多网站将多个地图文件全部写在robots中,这种做法是错误的,如下是错误写法:

User-agent: *
Disallow:
Sitemap: http://www.example.com/sitemap.xml
Sitemap: http://www.example.com/sitemap1.xml
Sitemap: http://www.example.com/sitemap2.xml
Sitemap: http://www.example.com/sitemap3.xml

百度明确表示:如需提交大量sitemap文件,则可将其列在sitemap索引文件中,然后将该索引文件提交。您无需分别提交每个文件。

google明确表示:如果您拥有多个站点地图,则可将其列在站点地图索引文件中,然后将该索引文件提交给 Google。您无需分别提交每个站点地图文件。

所以,对于多个sitemap地图文件的站点robots文件正确的写法是:

User-agent: *
Disallow: 
Sitemap: http://www.example.com/sitemap.xml

站点存在多个sitemap网站地图的robots写法

最后,我们再到google站长工具的“站点地图”工具里进行提交和测试,没有发现错误后,等待google进行页面抓取即可。百度方面,如果没有获得sitemap工具的提交资格,等待baiduspider自行抓取即可。

发表评论