繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > SEO教程 robots.txt文件常见用途
- 网站优化
- 降低百度惩罚降权的方法
- 提高你的二次吸引力之标题与description的设置
- Site网站首页不在第一页的原因及解决方法
- 如何成为一个好的搜索引擎优化客户
- 卡卡SEO：SEO中的5种必不可缺的心态
- 在BAIDU知道，贴吧，百科发连接也会被惩罚
- 彭愿：最近BAIDU算法调整的三点规律
- Google增加排名上升功能 与搜索结果删除功能
- 关于BAIDU,GOOGLE 搜索极限的思考
- 内外兼修：关键词优化的主要途径
- 上海空姐门事件之网站关键词
- 《SEO大白话》十日通
- SEO中关于黑帽的一些做法
- 从百度知道的整合看百度一站式营销
- 百度搜索引擎最近2个月算法新调整
- 君好说SEO
- 12个WordPress博客程序优化技巧
- 浅谈SEO优化中的8大问题之分析
- 中国seo学院浅析百度7月算法调整，提高ROI决胜百度信任级
- SEO 技巧之同一篇文章两个标题
网站优化 中的 SEO教程 robots.txt文件常见用途
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2010-01-10 浏览: 93 ::
收藏到网摘: n/a
本文将为你介绍最常用的四种robots.txt文件格式。
1. 允许所有的搜索引擎访问网站的任何部分
User-agent: *
Disallow:
(或者也可以建一个空文件 "/robots.txt")
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 禁止所有搜索引擎访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
4. 禁止网站上的程序文件被搜索引擎蜘蛛索引，这样可以节省服务器资源。
一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
注：每个网站的文件夹名字可能会不一样
评论 (0) All
