繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > Google网站管理员工具轻松制作robots.txt
- 网站优化
- 百度收录近期更改 不要乱seo
- 减少 复制内容增加SEO效果
- SEO 关键字布局写法
- SEO 网站惩罚情况分析
- SEO 交换链接技巧和链接的意义
- 条条大道通罗马，你的SEO公式是什么？
- 如何才能使自己的单向链接保质保量
- seo 职业者对搜索引擎的观察分析
- 交叉链接 示意图
- 网站建好了都要向哪些搜索引擎提交？
- 新手如何问网站优化问题
- 66种SEO创意推广方法集锦
- 影响网站排名下降的几个主要原因
- WordPress 博客的网站优化
- 挑选高质量友情链接的技巧
- 屏蔽百度快照的方法
- 网站SEO搜索引擎优化50问
- SEO教程 robots.txt文件常见用途
- SEO 经验教程 网页图片优化技巧
- SEO 链接是金 全面认识网站链接
网站优化 中的 Google网站管理员工具轻松制作robots.txt
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 202 ::
收藏到网摘: n/a
robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（
robots.txt文件其实很简单，只有几个简单的命令，
注意：每当用户试图访问某个不存在的URL时，
登陆Google网站管理员（https://www.
路径：登陆Google网站管理员>选择战点>网站配置>
1. robots.txt生成器工具默认选项是“允许所有漫游器”—
User-agent: *
Allow: /
2. 你可以修改默认选项为“拦截所有漫游器”，这样做，
User-Agent: *
Disallow: /
这2行代码意味着你网站上的所有网页对所有的搜索引擎蜘蛛都不允
3. 指定任何附加规则。例如，要阻止 Googlebot 访问你网站上的所有文件和目录，按以下步骤操作：
在操作列表中，选择 拦截。在漫游器列表中，点击 Googlebot。在文件或目录框中，键入 /images/。点击添加。robots.txt 文件的代码将会自动生成。
你会得到下面这样的代码：
User-Agent: *
Allow: / 第一部分表示允许所有的蜘蛛进入（其实这部分完全可以不需要），
User-Agent: Googlebot
Disallow: /images/
Allow: / 第二部分表示不允许Googlebot抓取images文件夹里
最后，保存robots.txt 文件，方法是下载文件或将内容复制到文本文件并保存为 robots.txt。将文件保存到您网站的顶级目录下。
另外，这个工具中只是列出了Google的蜘蛛，
附各大搜索引擎的蜘蛛名称
Google的蜘蛛：
1） Googlebot：
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
百度（Baidu）蜘蛛名称：Baiduspider
雅虎（Yahoo）蜘蛛名称：Yahoo Slurp
有道（Yodao）蜘蛛名称：YodaoBot
搜狗（sogou）蜘蛛名称：sogou spider
MSN的蜘蛛名称：Msnbot
评论 (0) All
