繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > Google网站管理员工具轻松制作robots.txt
- 网站优化
- 主流论坛程序相同的搜索引擎优化注意要点
- Web标准有利于搜索引擎优化？
- 把访问者留在网站的核心 SEO观念要正确
- 做好网站链接建设 做好自然链接人工链接
- 比较快速地提高网站PR值的十个有效办法
- 百度图片搜索优化技巧 让网站流量再翻番
- 对症下药 如何让自己网站不被百度潜规则
- 搜索引擎如何来评估网站链接的
- 优化热门关键字的5点心得体会
- 提高文章搜索引擎优化质量的十八个小技巧
- 谷歌官方《搜索引擎优化指南》网站内容篇
- 谷歌官方《搜索引擎优化指南》链接文本篇
- 谷歌官方《搜索引擎优化指南》标题标签篇
- 谷歌官方《搜索引擎优化指南》网页图片篇
- SEO关键字排名VS用户体验谁更重要？
- 网站优化的几个要点
- 影响网页在谷歌搜索引擎上权重的三个因素
- 针对谷歌搜索引擎 选取关键词的十个技巧
- 从搜索引擎优化角度 分析月光博客的成功
- 快速获取百度排名之偷梁换柱与抛砖引玉篇
网站优化 中的 Google网站管理员工具轻松制作robots.txt
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 148 ::
收藏到网摘: n/a
robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（
robots.txt文件其实很简单，只有几个简单的命令，
注意：每当用户试图访问某个不存在的URL时，
登陆Google网站管理员（https://www.
路径：登陆Google网站管理员>选择战点>网站配置>
1. robots.txt生成器工具默认选项是“允许所有漫游器”—
User-agent: *
Allow: /
2. 你可以修改默认选项为“拦截所有漫游器”，这样做，
User-Agent: *
Disallow: /
这2行代码意味着你网站上的所有网页对所有的搜索引擎蜘蛛都不允
3. 指定任何附加规则。例如，要阻止 Googlebot 访问你网站上的所有文件和目录，按以下步骤操作：
在操作列表中，选择 拦截。在漫游器列表中，点击 Googlebot。在文件或目录框中，键入 /images/。点击添加。robots.txt 文件的代码将会自动生成。
你会得到下面这样的代码：
User-Agent: *
Allow: / 第一部分表示允许所有的蜘蛛进入（其实这部分完全可以不需要），
User-Agent: Googlebot
Disallow: /images/
Allow: / 第二部分表示不允许Googlebot抓取images文件夹里
最后，保存robots.txt 文件，方法是下载文件或将内容复制到文本文件并保存为 robots.txt。将文件保存到您网站的顶级目录下。
另外，这个工具中只是列出了Google的蜘蛛，
附各大搜索引擎的蜘蛛名称
Google的蜘蛛：
1） Googlebot：
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
百度（Baidu）蜘蛛名称：Baiduspider
雅虎（Yahoo）蜘蛛名称：Yahoo Slurp
有道（Yodao）蜘蛛名称：YodaoBot
搜狗（sogou）蜘蛛名称：sogou spider
MSN的蜘蛛名称：Msnbot
评论 (0) All
