繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 建站经验 > 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
- 建站经验
- 关键词策略十步曲之关键词的去重
- 如何防止网站被采集
- 带不带www的域名 如何使得权重不会降低
- 如何告诉搜索引擎 你的标准化URL是什么
- 提高网站权重的11个方法 标题制作到内容
- 让我坚守ZBLOG的十二大理由
- 如何去做好自己的网站，我做站一年的心得体会。
- 小规模、低性能、低流量的网站该如何搞法
- 网站吸引互联网眼球的五大秘籍
- 从自己做网站经历 来谈谈美国空间的特点
- 谈谈我的人才网站的的发展历程
- 我的博客见证我的成长----叶落风尖博客一周年感言
- 两个简单方法实现免费的wordpress新评论短信通知
- 用搜索引擎快照 突破网站内容限制
- 走向成功：网站吸引互联网眼球的五大秘籍
- 影响UV指标的因素 谈谈三个例外情况影响
- 图文介绍 建站程序 Drupal6.9 的简易安装
- IIS服务器以及Nginx下 ShopEx4.84伪静态
- 用 Joomla! 搭建一个社会网络站点
- 如何正确选择虚拟主机服务器以及租用托管
建站经验 中的 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-10-17 浏览: 138 ::
收藏到网摘: n/a
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
| User-agent: Baiduspider Disallow: / |
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site：taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
| RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F] |
方法2：
| SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot <Limit GET POST> |
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
评论 (0) All
