失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > 使用Jsoup登录网站抓取网页内容

使用Jsoup登录网站抓取网页内容

时间:2020-12-17 19:09:17

相关推荐

使用Jsoup登录网站抓取网页内容

Jsoup可以很方便的模拟浏览器登录,然后根据登录获得sessionid继续做请求来抓取网页的内容。

登录的示例代码如下:

Connection.Response res = Jsoup.connect("/login.php").data("username", "myUsername", "password", "myPassword").method(Method.POST).execute();Document doc = res.parse();//这儿的SESSIONID需要根据要登录的目标网站设置的session Cookie名字而定String sessionId = res.cookie("SESSIONID");

在上面的代码成功登录后,就可以利用登录的cookie来保持会话,抓取网页内容了

Document objectDoc = Jsoup.connect("/otherPage").cookie("SESSIONID", sessionId).get();

如果觉得《使用Jsoup登录网站抓取网页内容》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。