繁體中文当前位置: 首页 > 图文教程 > 网络编程 > ASP.NET > asp.net(c#)捕捉搜索引擎蜘蛛和机器人
- ASP.NET
- 如何使用vb6.0来实现中文实名搜索
- C#实现Window管道技术
- 记录下一些关于测试工具NUNIT的链接资料，有兴趣的朋友也可以跳过去看看
- 编写与.NET属性窗口交互的RAD组件（自序）
- asp.net 关于form认证的一般设置：
- 编写与.NET属性窗口交互的RAD组件（一）
- ActiveX控件的打包发布[无证书发布](一)
- Visual SourceSafe 6.0 的问题思考
- VB报表输出的问题，恳请不吝赐教
- 证书和签名--试用微软提供的证书测试工具系列
- [dotNET]如何利用ConfigurationSettings.AppSettings.GetValues读取配置文件中多个...
- 使用C#编写DES加密程序的framework
- 令你的网页速度大大提高
- 怎样得到一个系统盘的全名，不是字符，是全名，如：本地磁盘(C:)？
- r在richtextbox中插入动画/控件
- Code: Writing Text to a File (Visual Basic)
- 算法讨论:哲学家就餐问题
- 我们所要关注的是什么？
- firebird 连接嵌入式版本
- 从Csharp走到VB.Net(一):MyClass保留字
ASP.NET 中的 asp.net(c#)捕捉搜索引擎蜘蛛和机器人
出处:互联网 整理: 软晨网（RuanChen.com） 发布: 2009-09-13 浏览: 245 ::
收藏到网摘: n/a
结合这个你就可以写一个蜘蛛访问记录了，如何判断正常用户或者蜘蛛？可以粗略的这样来判断：通过判断用户的访问来源页面 下面是访问日志文件
2008-8-13 14:43:22
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)
2008-8-13 14:43:27
Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 2.0.50727; .NET CLR 1.1.4322)
2008-8-13 14:44:18
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
2008-8-13 14:44:26
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; QQDownload 1.7; .NET CLR 1.1.4322; .NET CLR 2.0.50727; .NET CLR 3.0.04506.648; .NET CLR 3.5.21022)
2008-8-13 14:45:17
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
打开这个文件，这个文件用于记录访问搜索吧的正常访客或者机器人蜘蛛，从中提取的蜘蛛有： Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Gigabot/3.0 (http://www.gigablast.com/spider.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/; )
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
msnbot/1.1 (+http://search.msn.com/msnbot.htm)
Baiduspider+(+http://www.baidu.com/search/spider.htm)
代码也十分的简单：
复制代码 代码如下:
string agent = System.Web.HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"];
if (agent == null)
{
Response.Write("Other");
}
else
{
Response.Write(agent);
}
你可以自己用这个代码试下，发现会输出类似： Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0; .NET CLR 2.0.50727; .NET CLR 1.1.4322)
结合这个你就可以写一个蜘蛛访问记录了，如何判断正常用户或者蜘蛛？可以粗略的这样来判断：通过判断用户的访问来源页面，比如从ruanchen.com/ndex.htm这个文件点进show.asp?id=11那么他的来源页面我们知道就是ruanchen.com/ndex.htm，那么粗略判断他就是正常客户。而蜘蛛的来源则不是，把这部分不是的记录下来，再从中选择。可以结合数据库进行记录。
评论 (0) All
