当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > 访问日志 寻找百度蜘蛛的足迹

网站优化
搜索的是提供信息的网站 导出链连重要吗
成人用品站有福啦 为成人用品网站推广支招
针对这次的百度大更新 分析出的八个看法
搜索引擎不收录页面的十六个常见原因诊断
教程:从六个方面对你的网站进行技术构建
如何让网站在百度搜索引擎尽快收录
很菜的菜鸟 提高网站流量的五个心得经验
谷歌搜索引擎优化关于链接的九个基础问题
怎么做好网站技术重构
新域名搜索引擎收录建议
四个步骤快速提高百度搜索引擎的网站排名
搜索引擎优化基础教程 十大SEO工作误区
网站内页排名高于首页排名的原因分析
搜索优化服务行业的前景与发展趋势全解析
微软的告诫:建设链接的真相就是没有捷径
名家访谈:SEO专家Zac谈网络的营销与优化
新手搜索优化进阶你还应该知道的 关于百度
新手搜索优化进阶你还应该知道的 关于谷歌
关于博客站点进行搜索引擎优化的五个要点
关于搜索引擎优化的五十个一句话实用技巧

网站优化 中的 访问日志 寻找百度蜘蛛的足迹


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-10-17   浏览: 98 ::
收藏到网摘: n/a

像很多开始学SEO的新手一样,SEO地爱歪也对这个问题有过迷惑,认为百度、Google等的蜘蛛都是晚上爬行这也是很多SEO高手或大师们的说法。所以造成了大多数SEO们的认识。

可是就在前几天,SEO地爱歪也想真正寻求这个问题的答案。而方法就是分析WEB服务器的访问日志。今天我就下载网站的日志,并带领大家一起寻找百度SPIDER的踪迹。我用的万网的UNIX服务器,可能有的朋友跟我的不同,不过大同小异。

1、我们FTP到网站目录

2、打开wwwlogs目录,如果根目录下没用该目录,请询问服务商的技术支持,反正这一步找到日志文件的存放路径

3、查看日志文件,一般来讲,访问日志会按照日期进行存储,比如SEO地爱歪的就是access.log.2.gz

4、我们拖放该文件到本地

5、解压,然后用写字板打开,一般用记事本打开会显示得很乱

6、查询baiduspider

7、在结果中查看百度蜘蛛的爬行痕迹,如图所示:

8/我们继续寻找百度蜘蛛的踪迹,下面是百度蜘蛛晚上3点

61.135.168.39 - - [23/Jun/2008:03:06:59 +0800] “GET / HTTP/1.1” 200 6248 “-” “Baiduspider+(+

9、下图是我们本文的重点,

61.135.168.35 - - [23/Jun/2008:10:39:52 +0800] ”GET / HTTP/1.1“ 200 6248 ”-“ ”Baiduspider+(+

我们可以很明白的看到百度蜘蛛上午10点仍然在爬行我的站点。

10、我们继续寻找,可以看到11点12点13点、14点的爬行踪迹。

总之,百度蜘蛛爬行不一定只有晚上,可能白天也很多,换点石的一位会员的说法是:

蜘蛛一般很早就来吃早餐如果你的网站很美味,中午和下午都会再回来。 原文:www.zph5.com