今天把之前两天的文章补上再说。这两天在研究模拟登录。暂时还没有进展,但是我相信会好起来的。
我之前有一篇博文,是说爬取天猫图书信息的,我是在爬了一页后,也就是60本书后,遇到一个问题,就是碰到天猫要求登录才能查看所有图书信息,也就是说登录后才能爬取全部,所以,就开始研究登录爬取。
我们这次案例的网址是:/,我们先来爬取一页试试手。
完整代码:
首先,我们还是用之前博文说的selenium库模拟搜索和点击加上构造xpath路径,来爬取商品魔方全套的第一个页面。我们的代码会让搜索框,自动搜索“魔方全套”商品信息。如下图:
爬取过程:
然后,爬取完毕,会自动点击链接"下一页"进入下一页进行爬取,但是,当你点击下一页的链接,会进入登录界面,如下图:
然后,我们可以故技重施,用自动输入的方式,输入我们的账号和密码,再自动点击登录按钮,所以,代码如下图:
结果:
我突然发现事情不简单,有验证码。。。然后,正在筹划怎么通过验证,不过,先跟大家分享一下我的进度。
最后,感谢大家前来阅读鄙人的文章,文中或有诸多不妥之处,还望指出和海涵。
如果觉得《python从入门到放弃篇31(selenium库)模拟天猫登录输入不含验证码 初步实现》对你有帮助,请点赞、收藏,并留下你的观点哦!