当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 网站地图链接放在robots.txt文件里的用处

网站优化
域名注册虚拟主机类网站SEO和营销推广
某手机交友网站的SEO方案
网站改版过程中注意的4个细节
网站获得最好的搜索引擎排名的SEO技巧
网站架构关键词分配和网页图片优化
网站中不要有的SEO方法
网站首页为什么百度不收录?
想让自己的网站被百度快速收录吗?
SEO最高境界:网页标题和网页内容
16个网页图片SEO方法
网站优化教程:关键词放在网页的什么地方
网站遭受黑客攻击google帮你解决
网站地图对SEO优化的四好处
URL中关键词字数和形式影响网站排名
16个技巧助您做好图片搜索引擎优化
关键词策略:去掉重复的关键词
网站优化攻略:Robots.txt使用指南
从标题制作到内容提高网站权重的技巧
影响UV指标的因素 三个例外情况影响
搜索引擎优化SEO的几点忌讳

网站优化 中的 网站地图链接放在robots.txt文件里的用处


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-10-17   浏览: 147 ::
收藏到网摘: n/a

各大搜索引擎都发布了对网站地图的新的支持方式,就是在robots.txt文件里直接包括sitemap文件的链接。目前对此表示支持的搜索引擎公司有Google, Yahoo,而中文搜索引擎公司,显然不在这个圈子内。

这样做的好处就是,站长不用到每个搜索引擎的站长工具或者相似的站长部分,去提交自己的sitemap文件,搜索引擎的蜘蛛自己就会抓取robots.txt文件,读取其中的sitemap路径,接着抓取其中相链接的网页。

这里基于一个假设,robots.txt已然是一个标准,所有的网站至少都有一个,而sitemap还正在建立标准中,这样的做法,可以让站长减轻工作,而且如果他们不需要更为详细的索引和搜索的资料的话,那么就只需要包括sitemap到robots.txt就可以了。

让我们现在就开始动手,修改robots.txt文件。

#
# robots.txt for xxx.com
# Version 2009.04.04
#
User-agent: *
Disallow: /function/
Disallow: /FCKeditor/
Disallow: /CACHE/
Disallow: /SCRIPT/
Disallow: /ADMIN/
Disallow: /wap.asp
Disallow: /cmd.asp
Sitemap: http://www.xxx.com/sitemap.xml