当前位置: 首页 > 图文教程 > 网络编程 > ASP.NET > asp.net下获取远程网页的内容之二(downmoon原创)

ASP.NET
Asp.net 时间操作基类(支持短日期,长日期,时间差)
asp.net 获取机器硬件信息(cpu频率、磁盘可用空间、内存容量等)
asp.net 数据库备份还原(sqlserver+access)
Asp.Net 数据操作类(附通用数据基类)
Asp.net 弹出对话框基类(输出alet警告框)
Asp.net 文件上传类(取得文件后缀名,保存文件,加入文字水印)
Asp.net Socket客户端(远程发送和接收数据)
Asp.net 字符串操作基类(安全,替换,分解等)
Asp.Net数据输出到EXCEL表格中
asp.net Gridview里添加汇总行
asp.net UpdatePanel的简单用法
asp.net ajaxControlToolkit FilteredTextBoxExtender的简单用法
this connector is disabled错误的解决方法
sql事务应用积累
asp.net Page.Controls对象(找到所有服务器控件)
在asp.NET中字符串替换的五种方法
ASP.NET缓存方法分析和实践示例代码
asp.net 在DNN模块开发中遇到的resx怪问题
ASP.NET State service状态服务的问题解决方法
asp.net 结合mysql存储过程进行分页代码

ASP.NET 中的 asp.net下获取远程网页的内容之二(downmoon原创)


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-09-13   浏览: 114 ::
收藏到网摘: n/a

本文仅针AD下代理上网的情况:
代码如下:
1、定义变量:
定义变量#region  定义变量
复制代码 代码如下:

private string strFireWallIP
...{
get
...{
return System.Configuration.ConfigurationSettings.AppSettings["strFireWallIP"];
}
}
private string strFireWallPort
...{
get
...{
return System.Configuration.ConfigurationSettings.AppSettings["strFireWallPort"];
}
}
private string strUID
...{
get
...{
return System.Configuration.ConfigurationSettings.AppSettings["strUID"];
}
}
private string strPWD
...{
get
...{
return System.Configuration.ConfigurationSettings.AppSettings["strPWD"];
}
}
private string strDomain
...{
get
...{
return System.Configuration.ConfigurationSettings.AppSettings["strDomain"];
}
}
#endregion

方法:
获取指定远程网页内容
复制代码 代码如下:

/**//// <summary>
/// 获取指定远程网页内容
/// </summary>
/// <param name="strUrl">所要查找的远程网页地址</param>
/// <returns></returns>
//[WebMethod(Description = "获取指定远程网页内容。")]
public string getPageContent(string strUrl)
...{
string strResult = "";
this.CurrentUrl = strUrl;
if(this.CurrentUrl.ToLower().StartsWith("http://")==false)
this.CurrentUrl = "http://"+this.CurrentUrl;
try
...{
contentBytes = GetHtmlByte(CurrentUrl);
}
catch(Exception err)
...{
strResult = "请求错误:" + err.Message;
}
if(contentBytes==null)
...{
throw new Exception("没有获得返回值");
}
strResult = getStringFromByteArray(contentBytes,Encoding.UTF8);
return strResult;
}

获取指定远程网页元素字节数组::
获取指定远程网页元素字节数组#region 获取指定远程网页元素字节数组
复制代码 代码如下:

/**//// <summary>
/// 获取指定远程网页元素字节数组
/// </summary>
/// <param name="strUrl">所要查找的远程网页地址</param>
/// <returns></returns>
private byte[] GetHtmlByte(string strUrl)
...{
string strPara=(strUrl.IndexOf("?")>=0?strUrl.Substring(strUrl.IndexOf("?")+1):"");
System.Text.Encoding encoding = new UTF8Encoding();
byte[] byte1 = encoding.GetBytes(strPara);
byte[] byteReturn = new byte[10000000];
if(strUrl.Trim().ToLower().StartsWith("http://")==false)
...{
strUrl = "http://"+strUrl;
}
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(strUrl);
myHttpWebRequest.AllowAutoRedirect = true;
myHttpWebRequest.KeepAlive = true;
myHttpWebRequest.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; .NET CLR 1.1.4322)";
System.Net .WebProxy proxy = new WebProxy(strFireWallIP+":"+strFireWallPort,true);
//proxy=(WebProxy)System.Net.GlobalProxySelection.Select;
System.Net.NetworkCredential myCredential = new NetworkCredential(strUID,strPWD,strDomain);
proxy.Credentials =myCredential;
myHttpWebRequest.Proxy = proxy;
HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
byte[] bRead = new byte[1024];
int lngCount = 1;
int totalLen = 0;
Stream recWeb = myHttpWebResponse.GetResponseStream();
lngCount = recWeb.Read(bRead,0,1024);
while(lngCount>0)
...{
Array.Copy(bRead,0,byteReturn,totalLen,lngCount);
totalLen += lngCount;
lngCount = recWeb.Read(bRead,0,1024);
}
recWeb.Close();
byte[] byteGets = new byte[totalLen];
Array.Copy(byteReturn,0,byteGets,0,totalLen);
byteReturn = null;
bRead = null;
return byteGets;
}
#endregion

转换指定字节数组为字符串::
转换指定字节数组为字符串#region 转换指定字节数组为字符串
复制代码 代码如下:

/**//// <summary>
/// 转换指定字节数组为字符串
/// </summary>
/// <param name="ByteGet">字节数组Byte[]</param>
/// <param name="myEncoding">编码方式</param>
/// <returns></returns>
private static string getStringFromByteArray(Byte[] ByteGet,Encoding myEncoding)
...{
int i,lngCount;
StringBuilder aTemp = new StringBuilder(10000);
lngCount = ByteGet.Length;
for(i = 0;i<lngCount;i+= 10000)
...{
aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount>=i+10000?10000:lngCount - i)));
}
if(i<=lngCount)
...{
aTemp.Append(myEncoding.GetString(ByteGet,i,(lngCount - i)));
}
return aTemp.ToString();
}
#endregion
借用这个,写了个抽取中国天气网预报的服务!很爽!