轻松配置网站Robots.txt文件- 网站优化

当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 轻松配置网站Robots.txt文件

网站优化: 合理布局企业营销网站的内容; 网站SEO如何创造“伪原创”内容; 手把手教你做小型网站的网站优化; 网站优化应该注意的搜索引擎不接受的操作; 五项关键策略影响网站优化(SEO); Google、Yahoo和MSN对英文站收录的策略; Google域名信任度提高的8个简单方法; 搜索引擎优化(SEO)从业者无须担心的事情; 网站首页标题关键词优化; 制定完整的网站推广计划; 多个网站关键词该如何优化？; 学习总结：搜索引擎优化(SEO)用不着特复杂; 提升网站在搜索引擎中的权重，让搜索引擎认可; 熟知网络营销策略帮中小企业突围; 了解Web2.0时代的网络推广方式; 参考：详细的网站推广方案; 站长来看：Baidu关于网页收录问题; 站长来看：Baidu关于收录网页排序问题; Baidu给站长的建站建议; 网站策划推广总结

技术文章搜索

关键字

出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-10-17 浏览: 30 ::

收藏到网摘: n/a

当搜索引擎来抓取你的网站文件之前，它们会先来看看你网站的robots.txt文件的设置，以了解你所允许它抓取的范围，包括哪些文件，哪些目录。那么如何配置您的robots.txt文件呢?

让我们看一个例子：

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *

Disallow: /admin_login/

Disallow: /admin/

Disallow: /admin.htm

Disallow:/admin.aspx

# End robots.txt file

有#号的都是注释，方便阅读。

User-agent就是搜索引擎的蜘蛛，后面用了*号，表示对所有的蜘蛛有效。

Disallow就是表示不允许抓取，后面的目录或者文件，表示禁止抓取的范围。

编辑好这个文件，然后保存在你的网站的根目录下(一定是根目录下，当然你也可以调整)，那么搜索引擎就会来看的。

如果你没有robots.txt文件，在你的网站访问日志文件里，你会看到蜘蛛访问robots.txt文件不成功的纪录。

好了，现在就去设置你的robots.txt文件吧。