当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 网站地图链接放在robots.txt文件里的用处

网站优化
交换友情链接注意事项 不要尽相信网站PR
浅谈影响外部链接权重的十大因素
让SEO更大的作用
从关键词火车票 来看各大网站的SEO优化
SEO学习笔记:搜索引擎对作弊的判断条件
十大搜索引擎优化作弊方法
从用户的角度 来看看网站的搜索引擎优化
网站关键词优化研究 当关键词遇到了访客
Google沙盒逃生法
搜索引擎对作弊的判断条件
五个途径写一篇符合网站优化的文章
一句话式问答 网站优化常见问题整理(四)
眼睛视点的搜索引擎优化 浏览视觉与F形状
写好和维持准确元标记 让谷歌顺利找到你
增加高质量外部链接 提升谷歌对网站收录
把搜索优化做在建站之前 网建与优化结合
SEO八小时之外 透过技术来看SEO的学习
一句话式知识 网站吸引链接的三十招技巧
问答式了解创建google Sitemaps的注意事项
和蜘蛛搞好关系 三招让网站收录量大提升

网站优化 中的 网站地图链接放在robots.txt文件里的用处


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-10-17   浏览: 68 ::
收藏到网摘: n/a

各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。

这里基于一个假设,robots.txt已然是一个标准,所有的网站至少都有一个,而sitemap还正在建立标准中,这样的做法,可以让站长减轻工作,而且如果他们不需要更为详细的索引和搜索的资料的话,那么就只需要包括sitemap到robots.txt就可以了。

让我们现在就开始动手,修改robots.txt文件。

#
# robots.txt for xxx.com
# Version 2009.04.04
#
User-agent: *
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /wap.asp
Disallow: /cmd.asp
Sitemap: http://www.xxx.com/sitemap.xml