当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > SEO教程:Baiduspider常见问题解答

网站优化
SEO 搜索引擎收录页面流程原理和方式
SEO 分析某关键词的竞争强度的方法
新手站长找外部链接和简单网站推广方法
SEO实例经验分享 搜索引擎分词和长尾
DEDECMS 网站优化4则细节
Google 处理采集数据的一些分析
SEO不容易 开始给SEO吹冷风
Tags 标签优化细节问题
选择关键词的心得和思路
site 域名首页是在第一四种原因
网站找好链接的6种方法
三天优化到百度第一等类似信息纯属骗人
SEO实验 不要过于相信搜索引擎内部人的话
让排名在百度更稳定
百度 反垃圾网站的若干问答
搜索引擎重复网页发现技术分析
站内链接对蜘蛛收录的负面影响以及对策
免费网站推广诀窍 多干体力活儿
SEO 准确的进行关键词的选取
SEO 更新网站内容时注意的链接策略

No. « 160 161 162 163 »

技术文章搜索

关键字

网站优化 中的 SEO教程:Baiduspider常见问题解答

出处:互联网   整理: 软晨网（RuanChen.com）   发布: 2010-03-20   浏览: 31 ::
收藏到网摘: n/a

  1. 什么是Baiduspider？
    Baiduspider是百度搜索引擎的一个自动程序，它的作用是访问互联网上的网页，建立索引数据库，使用户能在百度搜索引擎中搜索到您网站上的网页。
    1. Baiduspider的user-agent是什么？
      百度各个产品使用不同的user-agent：
    1. 产品名称
    		对应user-agent
    无线搜索 Baiduspider-mobile
    图片搜索 Baiduspider-image
    视频搜索 Baiduspider-video
    新闻搜索 Baiduspider-news
    百度搜藏 Baiduspider-favo
    百度联盟 Baiduspider-cpro
    百度推广 Baiduspider-sfkr
    网页以及其他搜索 Baiduspider

    1. Baiduspider对一个网站服务器造成的访问压力如何？
      Baiduspider会自动根据服务器的负载能力调节访问密度。在连续访问一段时间后，Baiduspider会暂停一会，以防止增大服务器的访问压力。所以在一般情况下，Baiduspider对您网站的服务器不会造成过大压力。

    2. 为什么Baiduspider不停的抓取我的网站？
      对于您网站上新产生的或者持续更新的页面，Baiduspider会持续抓取。此外，您也可以检查网站访问日志中Baiduspider的访问是否正常，以防止有人恶意冒充Baiduspider来频繁抓取您的网站。 如果您发现Baiduspider非正常抓取您的网站，请通过投诉平台反馈给我们，并请尽量给出Baiduspider对贵站的访问日志，以便于我们跟踪处理。

    3. 如何判断是否冒充Baiduspider的抓取？
      您可以使用host ip命令反解ip来判断Baiduspider的抓取是否冒充。Baiduspider的hostname以*.baidu.com的格式命名，非*.baidu.com即为冒充。

      $ host 123.125.66.120
      120.66.125.123.in-addr.arpa domain name pointer baiduspider-123-125-66-120.crawl.baidu.com.

    4. 我不想我的网站被Baiduspider访问，我该怎么做？
      Baiduspider遵守互联网robots协议。您可以利用robots.txt文件完全禁止Baiduspider访问您的网站，或者禁止Baiduspider访问您网站上的部分文件。 注意：禁止Baiduspider访问您的网站，将使您的网站上的网页，在百度搜索引擎以及所有百度提供搜索引擎服务的搜索引擎中无法被搜索到。关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法

      您可以根据各产品不同的user-agent设置不同的抓取规则，如果您想完全禁止百度所有的产品收录，可以直接对Baiduspider设置禁止抓取。

      以下robots实现禁止所有来自百度的抓取：
      User-agent: Baiduspider
      Disallow: /

      以下robots实现仅禁止来自百度视频搜索的抓取：
      User-agent: Baiduspider-video
      Disallow: /

      以下robots实现禁止所有来自百度的抓取但允许图片搜索抓取/image/目录：
      User-agent: Baiduspider
      Disallow: /

      User-agent: Baiduspider-image
      Allow: /image/

      请注意：Baiduspider-cpro和Baiduspider-sfkr抓取的网页并不会建入索引，只是执行与客户约定的操作，所以不遵守robots协议，如果Baiduspider-cpro和Baiduspider-sfkr给您造成了困扰，Baiduspider-cpro请联系[email protected]，Baiduspider-sfkr请联系[email protected]。

    5. 为什么我的网站已经加了robots.txt，还能在百度搜索出来？
      因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。
      如果您的拒绝被收录需求非常急迫，也可以通过投诉平台反馈请求处理。

    6. 我希望我的网站内容被百度索引但不被保存快照，我该怎么做？
      Baiduspider遵守互联网meta robots协议。您可以利用网页meta的设置，使百度显示只对该网页建索引，但并不在搜索结果中显示该网页的快照。
      和robots的更新一样，因为搜索引擎索引数据库的更新需要时间，所以虽然您已经在网页中通过meta禁止了百度在搜索结果中显示该网页的快照，但百度搜索引擎数据库中如果已经建立了网页索引信息，可能需要二至四周才会在线上生效。

    7. Baiduspider多长时间之后会重新抓取我的网页？
      百度搜索引擎每周更新，网页视重要性有不同的更新率，频率在几天至一月之间，Baiduspider会重新访问和更新一个网页。

    8. Baiduspider抓取造成的带宽堵塞？
      Baiduspider的正常抓取并不会造成您网站的带宽堵塞，造成此现象可能是由于有人冒充Baiduspider恶意抓取。如果您发现有名为Baiduspider的agent抓取并且造成带宽堵塞，请尽快和我们联系。您可以将信息反馈至投诉平台，如果能够提供您网站该时段的访问日志将更加有利于我们的分析。