繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > Google网站管理员工具轻松制作robots.txt
网站优化 中的 Google网站管理员工具轻松制作robots.txt
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 102 ::
收藏到网摘: n/a
robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（
robots.txt文件其实很简单，只有几个简单的命令，
注意：每当用户试图访问某个不存在的URL时，
登陆Google网站管理员（https://www.
路径：登陆Google网站管理员>选择战点>网站配置>
1. robots.txt生成器工具默认选项是“允许所有漫游器”—
User-agent: *
Allow: /
2. 你可以修改默认选项为“拦截所有漫游器”，这样做，
User-Agent: *
Disallow: /
这2行代码意味着你网站上的所有网页对所有的搜索引擎蜘蛛都不允
3. 指定任何附加规则。例如，要阻止 Googlebot 访问你网站上的所有文件和目录，按以下步骤操作：
在操作列表中，选择 拦截。在漫游器列表中，点击 Googlebot。在文件或目录框中，键入 /images/。点击添加。robots.txt 文件的代码将会自动生成。
你会得到下面这样的代码：
User-Agent: *
Allow: / 第一部分表示允许所有的蜘蛛进入（其实这部分完全可以不需要），
User-Agent: Googlebot
Disallow: /images/
Allow: / 第二部分表示不允许Googlebot抓取images文件夹里
最后，保存robots.txt 文件，方法是下载文件或将内容复制到文本文件并保存为 robots.txt。将文件保存到您网站的顶级目录下。
另外，这个工具中只是列出了Google的蜘蛛，
附各大搜索引擎的蜘蛛名称
Google的蜘蛛：
1） Googlebot：
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
百度（Baidu）蜘蛛名称：Baiduspider
雅虎（Yahoo）蜘蛛名称：Yahoo Slurp
有道（Yodao）蜘蛛名称：YodaoBot
搜狗（sogou）蜘蛛名称：sogou spider
MSN的蜘蛛名称：Msnbot
评论 (0) All
