当前位置: 首页 > 图文教程 > 网络编程 > JSP > Java 获取URL的内容

JSP
写一个对搜索引擎友好的文章SEO分页类
ajax+jsp草稿自动保存的实现代码
什么是eclipse,eclipse的意思解析
经常听朋友说什么J2EE,终于知道点什么是J2EE了,汗一个
搭建SSH时的思考和遇到的几个问题的解决方法
RMI使用学习 小结
weblogic 8.1下重新编译java类但不用重启服务器的方法
JSP下动态INCLUDE与静态INCLUDE的区别分析
jsp中文乱码 jsp mysql 乱码的解决方法
Jsp页面实现文件上传下载类代码
下载完成后页面不自动关闭的方法
XStream使用方法总结附实例代码
惊现支撑1亿pv/天的超级数据库解决方案
jsp遍历文件夹下的文件的代码
JSP中include指令和include行为的区别
FCKeditor使用方法(FCKeditor_2.6.3)详细使用说明
AJAX FCKEditor Rich Editor整合篇
Java下使用Oracle存储过程(详解)
java AJAX实现级联下拉框
java去掉html标签 必须首先去掉双引号的正则

JSP 中的 Java 获取URL的内容


出处:互联网   整理: 软晨网(RuanChen.com)   发布: 2009-09-13   浏览: 77 ::
收藏到网摘: n/a

Java的网络资源比较少,问GG问的比较失败啊,自己在不断的摸索中才知道了不少。 Java获取URL内容的,我这里只给出GET方式的,POST和其它方式的都是比较类似的。其技术要点就一下三点。
第一:创建HttpURLConnection
第二:打开URL,创建一个InputStream
第三:逐行(逐字节)读取,如果需要,转换编码,放入字符串。
好,一下就开始代码吧:
复制代码 代码如下:

public String getUrlContent(String path){
String rtn = "";
int c;
try{
java.net.URL l_url = new java.net.URL(path);
java.net.HttpURLConnection l_connection = (java.net.HttpURLConnection) l_url.openConnection();
l_connection.setRequestProperty("User-agent","Mozilla/4.0");
l_connection.connect();
InputStream l_urlStream = l_connection.getInputStream();
while (( ( c= l_urlStream.read() )!=-1)){
int all=l_urlStream.available();
byte[] b =new byte[all];
l_urlStream.read(b);
rtn+= new String(b, "UTF-8");
}
//Thread.sleep(2000);
l_urlStream.close();
}catch(Exception e){
e.printStackTrace();
}
return rtn;
}

其中
l_connection.setRequestProperty("User-agent","Mozilla/4.0");
这句是必须的,很多服务器对于没有User-agent头的请求直接403了就。
然后采用InputStream.available()来一次性读取,返回此输入流方法的下一个调用方可以不受阻塞地从此输入流读取(或跳过)的字节数,如果需要的话,可以在后面稍微Sleep一下线程:
Thread.sleep(2000);
其中的
复制代码 代码如下:

while (( ( c= l_urlStream.read() )!=-1)){
int all=l_urlStream.available();
byte[] b =new byte[all];
l_urlStream.read(b);
rtn+= new String(b, "UTF-8");
}

是个很重要的读取过程,c表示读取流的标注,当结束的时候是-1,然后all是本次循环可用的最大字节数目,然后读取全部可用字节到byte[] b中,然后转换成UTF-8类型的字符串,注意,这里可以自己写方式,如果读取GB2312,就要写GB2312,至于有没有万能的,可以获取Meta,匹配下。自己想办法吧。