繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 建站经验 > 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
- 建站经验
- 域名投资须谨慎 阿里巴巴“卧底门”事件
- 淘宝网店装修教程(1):学习借鉴创新起个好名字
- 淘宝网店装修教程(2):制作个性化的店标
- 淘宝网店装修教程(3):普通店免费的风格设置
- 淘宝网店装修教程(4):吸引用户的店铺公告
- 淘宝网店装修教程(5):简单设置掌柜推荐
- 淘宝网店装修教程(6):普通店铺宝贝分类
- 淘宝网店装修教程(7):店铺交流区的管理
- 淘宝网店装修教程(8):友情链接的设置管理
- 淘宝网店装修教程(9):赏心悦目的宝贝描述
- 淘宝网店装修教程(10):注意细节的店铺介绍
- 淘宝网店装修教程和淘宝网店图片处理教程
- 判断网站真实流量的三个参考方法
- 网站推广专员需要掌握的相关知识
- 设计非营利网站的最佳实例
- 域名转移的一些问题
- 中国互联网的发展离不开草根的努力
- 301永久重定向讲解和设置方法
- 今后浙江省内大部分机房将不能从事虚拟主机业务
- cPanel主机面板让你轻松更换域名转移MYSQL数据库
建站经验 中的 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-10-17 浏览: 49 ::
收藏到网摘: n/a
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
| User-agent: Baiduspider Disallow: / |
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site：taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
| RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F] |
方法2：
| SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot <Limit GET POST> |
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
评论 (0) All
