这篇文章主要介绍了python爬虫 模拟登录人人网过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
equests 提供了一个叫做session类,来实现客户端和服务端的会话保持
使用方法
1.实例化一个session对象
2.让session发送get或者post请求
session = requests.session()session.get(url,headers)
下面就用人人网来实战一下
# coding=utf-8import requestssession = requests.session()# 登录的表单urlpost_url = "/PLogin.do"post_data = {"email": "your_email", "password": "your_password"}headers = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}# 使用session发送post请求,cookie保存在其中session.post(post_url, data=post_data, headers=headers)# 在使用session进行请求登陆之后才能访问的地址# 这是个人首页urlr = session.get("/327550088/profile", headers=headers)# 保存页面到本地with open("renren1.html", "w", encoding="utf-8") as f:f.write(r.content.decode('utf-8'))
就这么简单,模拟登录上人人网并且获取了个人首页信息页面保存到本地。
其实网站记录登录状态就是通过cookie里面携带的信息,如果我们发送请求的时候带上登录的cookie能不能够访问到只有登录才能访问的页面,当然是可以的
请看代码
# coding=utf-8import requestsheaders = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36","Cookie":"你的登录cookie"}r = requests.get("/327550088/profile",headers=headers)#保存页面with open("renren2.html","w",encoding="utf-8") as f:f.write(r.content.decode())
可以看到, Cookie 可以放在 headers 中,其实 requests 中也有一个参数用来传递cookie,这个参数就是 cookies
请看代码
# 字典生成器的用法cookies = {i.split("=")[0]:i.split("=")[1] for i in cookies.split("; ")}print(cookies)r = requests.get("/327550088/profile",headers=headers,cookies=cookies)``写到这里,给大家推荐一个资源很全的python学习聚集地,[点击进入](/?_wv=1027&k=5JIjRvv),这里有资深程序员分享以前学习心得,学习笔记,还有一线企业的工作经验,且给大家精心整理一份python零基础到项目实战的资料,每天给大家讲解python最新的技术,前景,学习需要留言的小细节`以上就是本文的全部内容,希望对大家的学习有所帮助
如果觉得《python爬虫 模拟登录人人网过程解析》对你有帮助,请点赞、收藏,并留下你的观点哦!