繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 建站经验 > 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
- 建站经验
- 建站参考：15种网站最差的用户体验
- 参考：网站制作过程中把握的几点
- 控制搜索引擎访问和索引你的网站
- 站长访谈：访中国最大Web开发社群站长—蓝色
- 1个月行业主关键词到首页SEO实战（Yahoo和Google篇）
- 总结参考：有利于用户体验和SEO的TAG写法
- 大型社区网站提高用户体验的10个细节
- 针对CMO来说，互联网内容的十宗罪
- 探讨行业网站应该具备的一些基本指标
- WordPress对搜索引擎更为友好的技巧和方法
- 网站编辑：怎样将seo融入到编辑的日常工作中？
- 复杂网站重新设计的简单方法
- 详细讲解网站制作中关于链接的制作方法
- 认识网络营销，中小企业开展网络营销的建议
- SEO搜索引擎优化给程序留下什么？
- 影响网站的搜索引擎排名的几个因素
- 全世界的专家给网站开发人员的一些建议
- 浅谈商业网站和个人网站的区别
- 个人站长：网商和博客是中小站长头上的两把利刃
- 搜索优化：使用Google工具条有助于网站收录
建站经验 中的 技术上的鬼扯淡：屏蔽百度爬虫的正确方法
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-10-17 浏览: 43 ::
收藏到网摘: n/a
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
| User-agent: Baiduspider Disallow: / |
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site：taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
| RewriteEngine on RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC] RewriteRule .* - [F] |
方法2：
| SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot <Limit GET POST> |
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
评论 (0) All
