繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 拒绝搜索引擎抓取页面:robots.txt
- 网站优化
- 月光博客的SEO分析 站长值得一看
- 静态网页和静态网页性能比较
- 网页标题优化原则和描述优化原则
- 文章标题关键词设置和改写技巧小结
- 2009.9百度大更新 算法从新改写 你注意到了吗
- 最近卖黑链的人比较多，大家注意防范
- SEO网站优化时请注意用户体验
- SEO中容易被忽视的细节分析小结
- Google官方 keywords meta标签对GOOGLE排名
- 冯韬 seo实例教程 [推荐]
- 网站域名PR值上升下降是否影响网页的抓取,收录以及排名的说明
- 推广案例分享 半年打造出来的人气博客
- SEO 不合理优化的手段认定标准与不合理优化作弊手段
- 2009 百度权重算法的改变在什么地方
- 针对搜索 错别字 可能相差几千IP
- 中小网站 链接资源很重要
- 网站推广之做到滴水不漏
- SEO 实战 让百度收录整站网页
- Seo 其实很简单 网站排名一招搞定
- 高手谈谈PR更新前站长们应该如何去做
网站优化 中的 拒绝搜索引擎抓取页面:robots.txt
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 49 ::
收藏到网摘: n/a
有些时候，我们建立的一些网页，不希望被网友通过搜索引擎找到，该如何做呢？本文介绍了如何使用robots.txt防止搜索引擎抓取页面的一些技巧。
Robots.txt 文件对抓取网络的搜索引擎漫游器（称为漫游器）进行限制。这些漫游器是自动的，在它们访问网页前会查看是否存在限制其访问特定网页的 robots.txt 文件。如果你想保护网站上的某些内容不被搜索引擎收入的话，robots.txt 是一个简单有效的工具。这里简单介绍一下怎么使用它。
如何放置 Robots.txt 文件
robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为"robots.txt"。位于子目录中的 robots.txt 文件无效，因为漫游器只在域名的根目录中查找此文件。例如，http://www.example.com/robots.txt 是有效位置，http://www.example.com/mysite/robots.txt 则不是。
这里举一个robots.txt的例子：
User-agent： *
Disallow： /cgi-bin/
Disallow： /tmp/
Disallow： /~name/
使用 robots.txt 文件拦截或删除整个网站
要从搜索引擎中删除您的网站，并防止所有漫游器在以后抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：
User-agent： *
Disallow： /
要只从 Google 中删除您的网站，并只是防止 Googlebot 将来抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：
User-agent： Googlebot
Disallow： /
每个端口都应有自己的 robots.txt 文件。尤其是您通过 http 和 https 托管内容的时候，这些协议都需要有各自的 robots.txt 文件。例如，要让 Googlebot 只为所有的 http 网页而不为 https 网页编制索引，应使用下面的 robots.txt 文件。
对于 http 协议 （http://yourserver.com/robots.txt）：
User-agent： *
Allow： /
对于 https 协议 （https：//yourserver.com/robots.txt）：
User-agent： *
Disallow： /
允许所有的漫游器访问您的网页
User-agent： *
Disallow：
（另一种方法： 建立一个空的 "/robots.txt" 文件， 或者不使用robot.txt。）
使用 robots.txt 文件拦截或删除网页
您可以使用 robots.txt 文件来阻止 Googlebot 抓取您网站上的网页。 例如，如果您正在手动创建 robots.txt 文件以阻止 Googlebot 抓取某一特定目录下（例如，private）的所有网页，可使用以下 robots.txt 条目：
User-agent： Googlebot
Disallow： /private
要阻止 Googlebot 抓取特定文件类型（例如，.gif）的所有文件，可使用以下 robots.txt 条目：
User-agent： Googlebot
Disallow： /*.gif$
要阻止 Googlebot 抓取所有包含 ？ 的网址（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串），可使用以下条目：
User-agent： Googlebot
Disallow： /*？
尽管我们不抓取被 robots.txt 拦截的网页内容或为其编制索引，但如果我们在网络上的其他网页中发现这些内容，我们仍然会抓取其网址并编制索引。因此，网页网址及其他公开的信息，例如指 向该网站的链接中的定位文字，有可能会出现在 Google 搜索结果中。不过，您网页上的内容不会被抓取、编制索引和显示。
作为网站管理员工具的一部分，Google提供了robots.txt分析工具 。它可以按照 Googlebot 读取 robots.txt 文件的相同方式读取该文件，并且可为 Google user-agents（如 Googlebot）提供结果。我们强烈建议您使用它。 在创建一个 robots.txt 文件之前，有必要考虑一下哪些内容可以被用户搜得到，而哪些则不应该被搜得到。 这样的话，通过合理地使用 robots.txt ， 搜索引擎在把用户带到您网站的同时，又能保证隐私信息不被收录。
评论 (0) All
