轻松配置网站Robots.txt文件- 网站优化

当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 轻松配置网站Robots.txt文件

网站优化: 优化多个关键词的方法; 站内搜索引擎的SEO（搜索优化）策略; 搜索优化(SEO)策略; SEO项目的整体链接策略; SEO选择最佳关键词的技巧; 文章内容SEO优化基本原则; 学习搜索引擎优化(SEO)的步骤; 博客式建站过程漫谈; 有道关于robots.txt的解释; 推荐几本搜索引擎优化(SEO)入门书籍; 研究:搜索引擎排名决定一切吗?; SEO:62%用户只点击第一页的搜索结果; 作弊方法提升百度排名介绍; 电子商务网站搜索引擎优化若干方法; 搜索引擎优化(SEO)有涉及的知识; 关于用Meta标签进行SEO的心得; 站长做搜索引擎优化(SEO)的参考和心得; 网站排名中关于做SEO(搜索优化)注意的几点; 网站优化的几个好经验; cn域名收录实验小结

技术文章搜索

关键字

出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-10-17 浏览: 35 ::

收藏到网摘: n/a

当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件呢?

让我们看一个例子：

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *

Disallow: /admin_login/

Disallow: /admin/

Disallow: /admin.htm

Disallow:/admin.aspx

# End robots.txt file

有#号的都是注释，方便阅读。

User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。

Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。

编辑好这个文件，然后保存在你的网站的根目录下(一定是根目录下，当然你也可以调整)，那么搜索引擎就会来看的。

如果你没有robots.txt文件，在你的网站访问日志文件里，你会看到蜘蛛访问robots.txt文件不成功的纪录。

好了，现在就去设置你的robots.txt文件吧。