百度回信了，还是那千篇一律的那几条：

-----------------------------------------------------------------------------------------

尊敬的用户：

您好！

非常感谢您的来信询问。百度使用自动的spider程序抓取互联网上的网页，大多数情况下，网站都能被百度自动收录。虽然百度希望尽可能多的抓取互联网上的网页，但为了确保用户的搜索体验以及某些不确定的原因，仍会有少数网站无法被百度收录，如果您的网站未被收录，通常是由以下原因引起的：

1. 您的网站所在服务器不稳定，被百度暂时性去除，稳定之后，问题会得到解决。

2. 您的网站有设计缺陷，导致spider无法正常抓取。

3. 您的网页不符合用户的搜索体验。

4. 网页是复制自互联网上的高度重复性的内容。

5. 网页做了很多针对搜索引擎而非用户的处理，使得用户从搜索结果中看到的内容与页面实际内容完全不同，或者使得网页在搜索结果中获得了不恰当的排名，从而导致用户产生受欺骗感觉。

6. 您的网页内容有不符合国家法律和法规规定的地方。

7. 您网站的robots协议禁止百度抓取。

8. 其他技术性问题。

您也可以到百度网站登陆上免费提交您的网址：http://www.baidu.com/search/url_submit.html

您所反馈的问题已经转发给相关的工程师继续分析，分析结果将成为改善搜索结果质量的重要参考。

感谢使用百度。希望您继续支持与关注百度。

谢谢！
-----------------------------------------------------------------------------------------------------------------------------------
我的第一反应是，百度没有认真的检查我的网站，完全是在敷衍我！但是转而一想，也许是我哪里没做对？
于是对照一条一条检查：

1. 您的网站所在服务器不稳定，被百度暂时性去除，稳定之后，问题会得到解决。
服务器不稳定不存在，原先火山都能收录，现在西部数码不稳定？
2. 您的网站有设计缺陷，导致spider无法正常抓取。
网站采用DZ论坛，我没作大的发动，也不会有设计缺陷。
3. 您的网页不符合用户的搜索体验。
同上，不存在这个问题。
4. 网页是复制自互联网上的高度重复性的内容。
自己是论坛，是发的帖子，也不存在高度重复的问题。
5. 网页做了很多针对搜索引擎而非用户的处理，使得用户从搜索结果中看到的内容与页面实际内容完全不同，或者使得网页在搜索结果中获得了不恰当的排名，从而导致用户产生受欺骗感觉。
从来没有做SEO处理。
6. 您的网页内容有不符合国家法律和法规规定的地方。
正规备案，正规网站。
7. 您网站的robots协议禁止百度抓取。
我不会自己禁止抓取。
8. 其他技术性问题。
其他问题问题我就查不出来了，你百度都查不出来。

----------------------------------------------------------------------------------------------------------------------------------

但是，问题总要解决呀！我又反复对照上述问题，看到第7条的时候，我想我去看看robots。结果打开一看，大吃一惊：
#
# robots.txt for Discuz! Board
# Version 6.0.0
#

User-agent: *

Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php

这不是禁止访问所有的目录吗？这是怎么回事呢？
原因我是找不出来了，但是，百度回信说的没错。
我立即做了一个空的robots.txt放上去！

经验教训是，什么事情都不能够随意下结论，不然，冤枉了百度，呵呵！

接下来，我要去看看我的日志，有没有机器人来过！
2008-03-16 16:04:14 GET /index.php - - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 20281
2008-03-16 16:04:35 GET /space.php 195/mythreads - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 7782
2008-03-16 16:04:56 GET /space.php uid=7 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 14450
2008-03-16 16:05:28 GET /space.php 99/myblogs/1159632000/1162310400 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 9551
2008-03-16 16:06:02 GET /stats.php type=team - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 13140

百度机器人来了很多次，呵呵！我还怪百度！

要是早点检查的话，该早就收录了！

呵呵！

白鸦：用“交叉”设计的方式促进风格统一 妙创网点评：牛仔网，你为谁而办？

评论 (0) All