当前位置: 首页 > 图文教程 > 网站运营 > 建站经验 > 浅谈百度谷歌蜘蛛机器人活动规律

建站经验
图文解读Facebook 从设计原则到架构体系
个人站长建站优化之友情链接必“嫖”宝典
关于重复页面再多也不会被搜索引擎K的问题
会员才是行业网站发展的王道
学习制作网站需要了解的知识
分析通用提示来提升用户体验
教您怎样选择好的虚拟空间
小建议:让您的网站在谷歌浏览器里更出色
图解A记录MX记录CNAME记录url转发NS记录
UPA2008讲稿:互联网产品的交互设计方法
适合于任何人的行业网站创业
开源节流 五个技巧帮你节约你的虚拟主机
快播QVOD服务器软件1.3 版本操作手册
网站用户体验漫谈:关于上传的那点破事儿
提升网站用户转化率:停止路过
固若金汤 构建一个强壮网站内部结构设计
个人下载类网站使用的下载服务器组装
网站地图对网站到底有什么好 SEO四好处
网络创业 我们要用生意人的头脑来做网站
架设一个BLOG需要整合多少东西 12个步骤

建站经验 中的 浅谈百度谷歌蜘蛛机器人活动规律


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-10-17   浏览: 37 ::
收藏到网摘: n/a

我们大家一定知道百度和谷歌有一个蜘蛛机器人,换句话说就是百度和谷歌的一套收录网站的程序或系统,我们都称它为蜘蛛机器人,他们是程序不是人,也不是神,所以它们总有自己的活动规律,下面就来谈谈。

一.网站收录初期

网站被百度收录初期的活动规律,首先进入你提交的网站首页或页面,然后从源文件中分析提取出你提交页面下的内链,然后逐一的提取你的网页。当然它不会一天两天的就给你把你加的内容,全部爬行完,它们会分不同的时间段进行爬,然后给你计算出蜘蛛在你网站的活动时间及时间的长短。如果百度蜘蛛机器人一旦发现你网站有死链或打不开的网页,会马上终止爬行。所以我们网站的初期,一定不要加外链或少加。网站没有建设好或内容不是很多的时候,一定不要放到网上去,网站放到网上去之前一定要检查一下是否有死链。我们一个网站放到网上去的时候,一定要是一个成形了的网站、有足够内容的网站。因为这样的网站你放上去的时候,然后在去向百度提交收录,他们第一次来,会给你网站留下一个好的印象。这样有一个好印象的话,他们会来第二次,第三次……就向我们一个人遇见一个新朋友似的,第一印象好的话,以后办事方便些,一个道理。

当然,谷歌收录网站初期的活动规律,要比百度要强一些,谷歌的蜘蛛似乎要比百度的要勤。但还是和百度一样,一旦发现有死链,或打不开网页,就会马上终止。不过他们判断一个网页是否打不开的时间好像要比百度的要长。我原来用一个新网站做过测试,百度一旦打开的时间超过8秒左右,谷歌是十秒左右,就判断死链或无效网页。所以说我的在做网站的时候,源代码能少的一定要少,不要加一些无用的代码进去,因为那样它们打开的时间长了就会判断无效的。

二.网站收录稳定期

网站被百度收录稳定期后,蜘蛛机器人首先从首页进入,每天会有十分之一的爬行是从首页进入,如果与上次的首页同就马上停止。谷歌就不一样,还是和前面一个阶段一样,从首页进入然后进行大量的分析爬行。所以说我们在做网站的后期,也就是更新网站内容的时候,一定要分不同时间段更新,让你更新的内容都出现在首页,不要一下全部更新了,有一些页面出现在首页的机会就没有,那样的话,百度就会把你加的内容给遗忘的。在这个时间你就会发现他们蜘蛛机器人给你网站的一定时间规律,也就是你在什么时候加内容,他收录的时间与你加内容的时间最短。只要你长期的注意一下,你会发现他们来的规律的。当然说了这么多,你不是很细心的人,要发现这些规律是有一定难度的。给大家推荐一款源码露珠CMS,这个建站源码后台能比较清晰的记录各大搜索机器人的痕迹,有各个机器人来访的时间,来访的页面,对来访的详细数据作了分析,进行24小时时间段分析,对各个频道的分析,对你所加的内容的版块进行分析。对各大搜索机器人喜欢你网站的哪个频道,哪个版块都进行了分析,同时也给你提出了补救其它频道和版块的建议,哪个时间加内容收录最快等等。

百度在稳定期第一天收录的页面,经过分析后会在第二天的早上8:30左右的时候全部给你放出来。谷歌就不一样了,一般会在第二天的七点之前给你放出来的。

综上所述,我们的网站要想百度和谷歌大量的收录,我们只要用心去对待它们的蜘蛛机器人,我想总一天它们会喜欢你网站的。在此祝大家好运。以上就是我本人的一些看法,谈得比较肤浅,欢迎大家给我指正,与我交流QQ:93065410网站http://www.luzhuba.cn。