繁體中文当前位置: 首页 > 图文教程 > 网站运营 > 网站优化 > Google网站管理员工具轻松制作robots.txt
- 网站优化
- 三大搜索引擎联手推出新标准应对复制网页
- 优化实战：对FLASH型网站进行优化的心得
- 流量分析：决定SEO效果的四大主要原因
- 703公交车上的SEO启发
- 提高网站质量 分析四种网站交换链接对象
- 2008年RSS订阅最多的30个顶尖SEO博客
- 他上之石可以取玉 分享大型网站SEO策略
- 从用户体验和SEO两个角度谈谈网站的描述
- SEO单个网页的最优化操作
- 获取关键词大流量 做好SEO方法中五大要点
- 简简单单就十个方面 做好WordPress的SEO
- 警惕 六种情况导致网站难以被搜索引擎收录
- 导致网站的搜索引擎优化失败的七个大方面
- 完善三个方面让谷歌对网站的索引变得更快
- 关键词选择攻略 处理好冷热门及专业关系
- 案例分析 通过新浪女性页面看关键词堆砌
- 与网站有些不同 博客流量来源的10个途径
- 又一强悍外链平台搜狐博客回归搜索
- 网站进行优化后也许并不需要进行静态处理
- 网址规范化最新解决方法 3大搜索引擎支持
网站优化 中的 Google网站管理员工具轻松制作robots.txt
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-26 浏览: 199 ::
收藏到网摘: n/a
robots.txt 文件使你能够指定你希望阻止其在你网站上抓取文件的漫游器（
robots.txt文件其实很简单，只有几个简单的命令，
注意：每当用户试图访问某个不存在的URL时，
登陆Google网站管理员（https://www.
路径：登陆Google网站管理员>选择战点>网站配置>
1. robots.txt生成器工具默认选项是“允许所有漫游器”—
User-agent: *
Allow: /
2. 你可以修改默认选项为“拦截所有漫游器”，这样做，
User-Agent: *
Disallow: /
这2行代码意味着你网站上的所有网页对所有的搜索引擎蜘蛛都不允
3. 指定任何附加规则。例如，要阻止 Googlebot 访问你网站上的所有文件和目录，按以下步骤操作：
在操作列表中，选择 拦截。在漫游器列表中，点击 Googlebot。在文件或目录框中，键入 /images/。点击添加。robots.txt 文件的代码将会自动生成。
你会得到下面这样的代码：
User-Agent: *
Allow: / 第一部分表示允许所有的蜘蛛进入（其实这部分完全可以不需要），
User-Agent: Googlebot
Disallow: /images/
Allow: / 第二部分表示不允许Googlebot抓取images文件夹里
最后，保存robots.txt 文件，方法是下载文件或将内容复制到文本文件并保存为 robots.txt。将文件保存到您网站的顶级目录下。
另外，这个工具中只是列出了Google的蜘蛛，
附各大搜索引擎的蜘蛛名称
Google的蜘蛛：
1） Googlebot：
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
2） Googlebot-
3） Googlebot-Image：
4） Mediapartners-Google：抓取网页确定 AdSense 的内容。只有在你的网站上展示 AdSense 广告的情况下，Google才会使用此漫游器来抓取您的网站。
5） Adsbot-Google：抓取网页来衡量 AdWords 目标网页的质量。只有在你使用 Google AdWords 为你的网站做广告的情况下，Google才会使用此漫游器。
百度（Baidu）蜘蛛名称：Baiduspider
雅虎（Yahoo）蜘蛛名称：Yahoo Slurp
有道（Yodao）蜘蛛名称：YodaoBot
搜狗（sogou）蜘蛛名称：sogou spider
MSN的蜘蛛名称：Msnbot
评论 (0) All
