失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > java爬虫抓取网页数据论坛_Java爬虫抓取网页

java爬虫抓取网页数据论坛_Java爬虫抓取网页

时间:2022-11-08 00:44:09

相关推荐

java爬虫抓取网页数据论坛_Java爬虫抓取网页

Java爬虫抓取网页原作者:hebedich原文链接

下面直接贴代码:

import java.io.BufferedReader;

import java.io.InputStreamReader;

import .URL;

import .URLConnection;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

public class Main {

static String sendGet(String url){

// 定义即将访问的链接

// 定义一个字符串用来存储网页内容

String result = "";

// 定义一个缓冲字符输入流

BufferedReader in = null;

try {

// 将string转成url对象

URL realUrl = new URL(url);

// 初始化一个链接到那个url的连接

URLConnection connection = realUrl.openConnection();

// 开始实际的连接

connection.connect();

// 初始化 BufferedReader输入流来读取URL的响应

in = new BufferedReader(new InputStreamReader(connection.getInputStream()));

// 用来临时存储抓取到的每一行的数据

String line;

while ((line = in.readLine()) != null) {

//遍历抓取到的每一行并将其存储到result里面

result += line;

}

} catch (Exception e) {

System.out.println("发送GET请求出现异常!" + e);

e.printStackTrace();

}

// 使用finally来关闭输入流

finally {

try {

if (in != null) {

in.close();

}

} catch (Exception e2) {

e2.printStackTrace();

}

}

return result;

}

public static void main(String[] args) {

String url = "";

// 访问链接并获取页面内容

String result = sendGet(url);

// 使用正则匹配图片的src内容

System.out.println(result);

}

}

如果觉得《java爬虫抓取网页数据论坛_Java爬虫抓取网页》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。