繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > Google网站管理员工具轻松制作robots.txt
- 网站优化
- SEO的步骤参考
- SEO 两大搜索引擎网站近期算法分析
- SEO 搜索引擎算法探讨
- SEO 选择合适的CMS建站
- SEO Google如何处理低质量链接
- SEO 网站管理员工具深入分析
- SEO 分析某关键词的竞争强度
- B2C 电子商务网站如何做推广和优化
- 网页游戏的推广的策略与效果分析
- 网站排名下降的主要原因分析
- 网站关键词排名发生变化时的应对方法
- Google为网站提供相关链接功能
- 正确解决IE6的问题的方法
- 谈google 命名锚链接识别网页段落
- 动易CMS的目录结构SEO优化
- 让你的wordpress博客备受搜索引擎青睐
- 经过实践后觉得确实有效的Baidu优化经验
- 网站主要关键词排名不高的原因分析
- seo优化通用方式小结
- 网站推广3种方法操作流程详解
网站优化 中的 Google网站管理员工具轻松制作robots.txt
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 90 ::
收藏到网摘: n/a
robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（
robots.txt文件其实很简单，只有几个简单的命令，
注意：每当用户试图访问某个不存在的URL时，
登陆Google网站管理员（https://www.
路径：登陆Google网站管理员>选择战点>网站配置>
1. robots.txt生成器工具默认选项是“允许所有漫游器”—
User-agent: *
Allow: /
2. 你可以修改默认选项为“拦截所有漫游器”，这样做，
User-Agent: *
Disallow: /
这2行代码意味着你网站上的所有网页对所有的搜索引擎蜘蛛都不允
3. 指定任何附加规则。例如，要阻止 Googlebot 访问你网站上的所有文件和目录，按以下步骤操作：
在操作列表中，选择 拦截。在漫游器列表中，点击 Googlebot。在文件或目录框中，键入 /images/。点击添加。robots.txt 文件的代码将会自动生成。
你会得到下面这样的代码：
User-Agent: *
Allow: / 第一部分表示允许所有的蜘蛛进入（其实这部分完全可以不需要），
User-Agent: Googlebot
Disallow: /images/
Allow: / 第二部分表示不允许Googlebot抓取images文件夹里
最后，保存robots.txt 文件，方法是下载文件或将内容复制到文本文件并保存为 robots.txt。将文件保存到您网站的顶级目录下。
另外，这个工具中只是列出了Google的蜘蛛，
附各大搜索引擎的蜘蛛名称
Google的蜘蛛：
1） Googlebot：
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
百度（Baidu）蜘蛛名称：Baiduspider
雅虎（Yahoo）蜘蛛名称：Yahoo Slurp
有道（Yodao）蜘蛛名称：YodaoBot
搜狗（sogou）蜘蛛名称：sogou spider
MSN的蜘蛛名称：Msnbot
评论 (0) All
