繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 建站经验 > 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
- 建站经验
- 经验：我的设计公司创业
- 网页设计指导：网站设计的主要方面
- 登陆页高效优化思路是简单再简单！
- 建设个人网站一定要知道网站用户的信息
- 经验分享：登陆页优化的七大规则
- 解决论坛的收录问题：百度BBS收录协议
- 经验：可用性第一法则，不要听用户的
- 个人站长：电子论坛和留言板如何进行专项备案
- 搜狐与新浪的第一门户之争：论中国第一门户
- 网站价值将不再以流量论成败--效果营销时代
- 百度联盟：如何有效的与百度联盟沟通
- 站长建站须知：网站主机的服务器技术
- 网站如何能更明确的表现自身优势？
- 网站SEO：搜索引擎优化的基本要素
- “玉米商”辍学抢域名闷声挣钱 月收入30万美金
- 想建立网站，科学规范书写网站规划书
- 搜索优化：传统的网站结构面临挑战？
- Web网站的设计、管理与维护的十二项要点
- Google提醒站长：交换链接会降低PR指数
- 参考：我的SEO方案－统观全局，注意细节
建站经验 中的 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-10-17 浏览: 41 ::
收藏到网摘: n/a
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
| User-agent: Baiduspider Disallow: / |
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site：taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
| RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F] |
方法2：
| SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot <Limit GET POST> |
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
评论 (0) All
