当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 网站地图链接放在robots.txt文件里的用处

网站优化
一个seoer给网站设计者的几点建议
针对Z-Blog博客程序 常用博客SEO优化技巧
垃圾网站在一年时间内 pr值从0到6的秘密
网站优化 关键词及主题的优化你做好了吗
浅谈SEO优化连接的几种类型
SEO内链常见形式 做好站内链接四点建议
QQ类网站经验 SEO稳扎稳打才能步步为营
流传很久的一份资料 SEO中HTML标签权重
搜索引擎最不喜欢哪些网站 预防九种情况
对一家FLASH网站进行SEO优化的心得经验
研究是SEO优化最快的成长之路 实践中成长
SEO速成之路 研究
用博客建设外部链接要点
被百度K掉,应提前预防
多种营销方式为SEO所用 思考与技术之别
谷歌中文网站管理员解答释疑重复内容问题
搜索引擎不喜欢的九大因素
多次被搜索引擎惩罚 逐渐发现一些优化忌讳
搜索引擎优化重点之网站内外链接策略
不懂seo也可以做seo的简单方法总汇

网站优化 中的 网站地图链接放在robots.txt文件里的用处


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-10-17   浏览: 21 ::
收藏到网摘: n/a

各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。

这里基于一个假设,robots.txt已然是一个标准,所有的网站至少都有一个,而sitemap还正在建立标准中,这样的做法,可以让站长减轻工作,而且如果他们不需要更为详细的索引和搜索的资料的话,那么就只需要包括sitemap到robots.txt就可以了。

让我们现在就开始动手,修改robots.txt文件。

#
# robots.txt for xxx.com
# Version 2009.04.04
#
User-agent: *
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /wap.asp
Disallow: /cmd.asp
Sitemap: http://www.xxx.com/sitemap.xml