当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 搜索引擎真的遵守robots.txt协议吗？

网站优化
一个seoer给网站设计者的几点建议
针对Z-Blog博客程序 常用博客SEO优化技巧
垃圾网站在一年时间内 pr值从0到6的秘密
网站优化 关键词及主题的优化你做好了吗
浅谈SEO优化连接的几种类型
SEO内链常见形式 做好站内链接四点建议
QQ类网站经验 SEO稳扎稳打才能步步为营
流传很久的一份资料 SEO中HTML标签权重
搜索引擎最不喜欢哪些网站 预防九种情况
对一家FLASH网站进行SEO优化的心得经验
研究是SEO优化最快的成长之路 实践中成长
SEO速成之路 研究
用博客建设外部链接要点
被百度K掉，应提前预防
多种营销方式为SEO所用 思考与技术之别
谷歌中文网站管理员解答释疑重复内容问题
搜索引擎不喜欢的九大因素
多次被搜索引擎惩罚 逐渐发现一些优化忌讳
搜索引擎优化重点之网站内外链接策略
不懂seo也可以做seo的简单方法总汇

No. « 114 115 116 117 »

技术文章搜索

关键字

网站优化 中的 搜索引擎真的遵守robots.txt协议吗？

出处:互联网   整理: 软晨网（RuanChen.com）   发布: 2009-10-17   浏览: 37 ::
收藏到网摘: n/a

 我们都知道robots.txt文件是搜索引擎遵守的一个抓取协议，但是是不是真的有效果呢？

搜索引擎真的会遵循这个协议吗？

让我们首先来看看

下面这段 [这是我南昌SEO站点的robots.txt设置：允许GG 百度、ALEXA 抓取，屏蔽了其他一切引擎禁止！]

User-agent:Googlebot
Disallow:
User-agent:baiduspider
Disallow:
User-agent:ia_archiver
Disallow:
User-agent:*
Disallow:/
从理论上来说 这样的设置就屏蔽了其他一切引擎，但实际上这种方法并不能完全屏蔽SOSO YAHOO MSN之类的爬虫，在YAHOO上输入site：www.seo-jx.cn还是可以看到内容以及索引的！
遵守robots协议与否当然是由他们自己说了算的！所以要想完全屏蔽搜索引擎的爬虫，需要在.htaccess中加入限制语句才行，这里我们介绍2种最简单的方法：
1：
RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] 
RewriteRule .* - [F]
 
2：
SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot
<Limit GET POST> 
Order Allow,Deny 
Allow from all 
Deny from env=bad_bot 
</Limit>
注：MSNBOT 为MSN蜘蛛机器人代码 ，如果想要真正屏蔽某个搜索引擎 把其中的红色部分[MSNBOT]
换成你想要屏蔽的蜘蛛机器人代码即可！
请不要随意添写 否则造成损失与本人无关！
SEO小林发布，转载请注明出处：江西南昌SEO http://www.seo-jx.cn/