繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 有道关于robots.txt的解释
- 网站优化
- 搜索引擎优化基础教程 如何提交你的网站
- 影响网站在百度中排名的六个方面
- 谷歌网站管理员 以平常的心看待导出链接
- 搜索引擎也是用户 优化要杜绝的九个方面
- 释疑排在搜索引擎的第一名 研读百度圣经
- 基础教程 外部链接优化操作的概念与分析
- 什么是黑帽子优化 六个常用链接作弊伎俩
- 和搜索引擎正在一起 去建立高质量的链接
- 外部链接优化 提交到DMOZ以及链接诱饵
- 搜索引擎优化基础知识自测试题 附带答案
- 资料：19条让Google搜索更有效的技巧
- 百度对垃圾站处理的根源与影响分析
- 网站吸引百度收录的三种最有效的方法
- 学习竞争对手的办法 进行搜索引擎的优化
- 图片站要想流量高 首先优化网站页面结构
- 药方：网站被搜索引擎处理掉的十二个原因
- 从技术到思路 网站内部链接进阶优化操作
- 八个阶段 搜索引擎优化工作的周期性安排
- 提高内页权重 把内页当成首页来进行优化
- 扔掉优化不靠百度 轻松地增加一倍的流量
网站优化 中的 有道关于robots.txt的解释
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 140 ::
收藏到网摘: n/a
怎么写robots.txt文件？
robots.txt是个很简单的文本文件，您只要标明“谁不能访问哪些链接”即可。
在文件的第一行写：
User-Agent: YodaoBot
这就告诉了爬虫下面的描述是针对名叫YodaoBot的爬虫。您还可以写：
User-Agent: *
这就意味着向所有的爬虫开放。需要注意的是一个robots.txt文件里只能有一个"User-Agent: *"。
接下来是不希望被访问的链接前缀。例如：
Disallow: /private
这就告诉爬虫不要抓取以"/private"开头的所有链接。包括/private.html，/private/some.html，/private/some/haha.html。如果您写成：
Disallow: /
则表明整个站点都不希望被访问。您也可以分多行来指定不希望被抓取的链接前缀，例如：
Disallow: /tmp
Disallow: /disallow
那么所有以"/tmp"和"/disallow"开头的链接都不会被访问了。
最后形成的robots.txt文件如下：
User-Agent: YodaoBot
Disallow: /tmp
Disallow: /private
请注意，如果您的robots.txt文件里有中文等非英语字符，请确定该文件是由UTF-8编码编写。
评论 (0) All
