当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 网站地图链接放在robots.txt文件里的用处

网站优化
百度收录近期更改 不要乱seo
减少 复制内容增加SEO效果
SEO 关键字布局写法
SEO 网站惩罚情况分析
SEO 交换链接技巧和链接的意义
条条大道通罗马,你的SEO公式是什么?
如何才能使自己的单向链接保质保量
seo 职业者对搜索引擎的观察分析
交叉链接 示意图
网站建好了都要向哪些搜索引擎提交?
新手如何问网站优化问题
66种SEO创意推广方法集锦
影响网站排名下降的几个主要原因
WordPress 博客的网站优化
挑选高质量友情链接的技巧
屏蔽百度快照的方法
网站SEO搜索引擎优化50问
SEO教程 robots.txt文件常见用途
SEO 经验教程 网页图片优化技巧
SEO 链接是金 全面认识网站链接

网站优化 中的 网站地图链接放在robots.txt文件里的用处


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-10-17   浏览: 71 ::
收藏到网摘: n/a

各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。

这里基于一个假设,robots.txt已然是一个标准,所有的网站至少都有一个,而sitemap还正在建立标准中,这样的做法,可以让站长减轻工作,而且如果他们不需要更为详细的索引和搜索的资料的话,那么就只需要包括sitemap到robots.txt就可以了。

让我们现在就开始动手,修改robots.txt文件。

#
# robots.txt for xxx.com
# Version 2009.04.04
#
User-agent: *
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /wap.asp
Disallow: /cmd.asp
Sitemap: http://www.xxx.com/sitemap.xml