当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 搜索引擎真的遵守robots.txt协议吗？

网站优化
网络营销无难事：逃走的浏览者
客齐集(kijiji)蜕变百姓(Baixing)的SEO过程
SEO优化手册之（2）：关键词选取
SEO完全手册关键词选取 赢得黄金关键词
SEO后遗症：如何把从搜索引擎来的用户留下？
SEO优化手册之三 进行网站的规范化设计
思想经验总结 B2C和B2B网站SEO的区别
做好这三点 SEO就成功了一半
若谷歌继续领先五年 关键词的丧钟将敲响
谷歌排名算法异动：大品牌的排名全面提升
SEO黑帽变黑客 从令人讨厌到互联网犯罪
谷歌搜索引擎算法大变 内容权重变得更高
利用canonical属性再次加强网页权重
优化网页广告代码以及速度
SEO过程中的关于群发的一些看法和经验
新手站长进行SEO优化注意的几个关键技巧
最新的排名秘方 构建你的互联网品牌建设
搜索引擎要求更加严格 再谈SEO原创为王
活用DedeCms 进行超强的SEO优化全攻略
原创文章被百度收录并不难

No. « 105 106 107 108 »

技术文章搜索

关键字

网站优化 中的 搜索引擎真的遵守robots.txt协议吗？

出处:互联网   整理: 软晨网（RuanChen.com）   发布: 2009-10-17   浏览: 104 ::
收藏到网摘: n/a

 我们都知道robots.txt文件是搜索引擎遵守的一个抓取协议，但是是不是真的有效果呢？

搜索引擎真的会遵循这个协议吗？

让我们首先来看看

下面这段 [这是我南昌SEO站点的robots.txt设置：允许GG 百度、ALEXA 抓取，屏蔽了其他一切引擎禁止！]

User-agent:Googlebot
Disallow:
User-agent:baiduspider
Disallow:
User-agent:ia_archiver
Disallow:
User-agent:*
Disallow:/
从理论上来说 这样的设置就屏蔽了其他一切引擎，但实际上这种方法并不能完全屏蔽SOSO YAHOO MSN之类的爬虫，在YAHOO上输入site：www.seo-jx.cn还是可以看到内容以及索引的！
遵守robots协议与否当然是由他们自己说了算的！所以要想完全屏蔽搜索引擎的爬虫，需要在.htaccess中加入限制语句才行，这里我们介绍2种最简单的方法：
1：
RewriteEngine on 
RewriteCond %{HTTP_USER_AGENT} ^MSNBOT [NC] 
RewriteRule .* - [F]
 
2：
SetEnvIfNoCase User-Agent "^MSNBOT" bad_bot
<Limit GET POST> 
Order Allow,Deny 
Allow from all 
Deny from env=bad_bot 
</Limit>
注：MSNBOT 为MSN蜘蛛机器人代码 ，如果想要真正屏蔽某个搜索引擎 把其中的红色部分[MSNBOT]
换成你想要屏蔽的蜘蛛机器人代码即可！
请不要随意添写 否则造成损失与本人无关！
SEO小林发布，转载请注明出处：江西南昌SEO http://www.seo-jx.cn/