失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > Python爬虫之模拟POST请求

Python爬虫之模拟POST请求

时间:2018-09-04 04:49:46

相关推荐

Python爬虫之模拟POST请求

Python爬虫之模拟POST请求

POSTContent-typeapplication/x-www-form-urlencoded请求报文样式 multipart/form-data请求报文样式 application/json请求报文样式 text/xml请求报文样式 flask 获取参数的几种方式方式request.argsrequest.formrequest.valuesrequest.datarequest.get_json() Python 中 requests 模块提交 POST 参数的几种方式:提交 application/x-www-form-urlencoded 格式的参数:提交 multipart/form-data 格式的参数,需要借助一个第三方模块 requests_toolbelt 来对参数进行封装:提交 application/json 格式的参数:

POST

HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中 POST 一般用来向服务端提交数据,本文主要讨论 POST 提交数据的几种方式。

协议规定 POST 提交的数据必须放在消息主体(entity-body)中,但协议并没有规定数据必须使用什么编码方式。实际上,开发者完全可以自己决定消息主体的格式,只要最后发送的 HTTP 请求满足上面的格式就可以。

Content-type

在POST请求中,可以在请求头中添加Content-Type来告诉服务器发送参数的数据格式,Content-Type的值有一下几种:

application/x-www-form-urlencoded

默认地,表单数据会编码为 “application/x-www-form-urlencoded”。提交的参数会以键值对的形式添加到请求体中,多个参数之间以 & 分隔,如果参数中有空格,空格会被转换为 + 号。

请求报文样式

User-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: a84e25d1-54de-4fa3-8781-f3dc6da2f2f3Host: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Type: application/x-www-form-urlencodedContent-Length: 18test=123&wd=python

multipart/form-data

这种方式一般用来上传文件,各大服务端语言对它也有着良好的支持。

上面提到的这两种 POST 数据的方式,都是浏览器原生支持的,而且现阶段标准中原生 表单也只支持这两种方式(通过 元素的 enctype 属性指定,默认为 application/x-www-form-urlencoded。其实 enctype 还支持 text/plain,不过用得非常少)。

请求报文样式

POST /add HTTP/1.1User-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: d6cbddb6-da87-445e-8572-7216f7b9ba6fHost: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Type: multipart/form-data; boundary=--------------------------642707373735716793959484Content-Length: 11185----------------------------postmanContent-Disposition: form-data; name="name"fire----------------------------postmanContent-Disposition: form-data; name="password"123456----------------------------postmanContent-Disposition: form-data; name="file"; filename="ex2.doc"<ex2.doc>----------------------------postman--

application/json

application/json 这个 Content-Type 作为响应头大家肯定不陌生。实际上,现在越来越多的人把它作为请求头,用来告诉服务端消息主体是序列化后的 JSON 字符串。由于 JSON 规范的流行,除了低版本 IE 之外的各大浏览器都原生支持 JSON.stringify,服务端语言也都有处理 JSON 的函数,使用 JSON 不会遇上什么麻烦。

请求报文样式

POST /add HTTP/1.1Content-Type: application/jsonUser-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: d9150983-c9c9-4d95-a946-fa24ee66140dHost: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Length: 37{"user":"root","pwd":123456,abc:5436}

text/xml

它是一种使用 HTTP 作为传输协议,XML 作为编码方式的远程调用规范。

请求报文样式

POST /add HTTP/1.1Content-Type: text/xmlUser-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: 60ce6454-9f0e-49b5-831a-75d07b24fe53Host: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Length: 122<note><to>Tove</to><from>Jani</from><heading>Reminder</heading><body>Don't forget me this weekend!</body></note>

flask 获取参数的几种方式方式

request.args

用于获取GET请求url中的参数,返回的是一个字典集合,可以以字典的方式直接使用。

request.form

主要用于获取以表单方式提交时,当请求头中content-type为application/x-www-form-urlencoded和multipart/form-data,返回的是一个字典集合,可以以字典的方式直接使用。

request.values

可以获取获取GET请求url中的参数,也可以获取表单中的数据,返回的也是一个字典集合。

request.data

可以获取 text/xml、application/json,都是二进制流。

无法获取multipart/form-data、application/x-www-form-urlencoded。

request.get_json()

可以获取 text/xml、application/json,都是二进制流。

无法获取multipart/form-data、application/x-www-form-urlencoded。

Python 中 requests 模块提交 POST 参数的几种方式:

提交 application/x-www-form-urlencoded 格式的参数:

data = {"user":"yintao", "pwd":"123456"}requests.post(url=url, data=data)

提交 multipart/form-data 格式的参数,需要借助一个第三方模块 requests_toolbelt 来对参数进行封装:

from requests_toolbelt import MultipartEncoder# 用MultipartEncoder函数对参数进行编码# 如果要POST文件,需要用元组上传文件信息# 元组格式:(文件名, 文件二进制流, "application/octet-stream")data = MultipartEncoder({"user":"yintao","pwd":"123456","file":("image", open(r"C:\Users\Administrator\Desktop\page.png", "rb").read(), "application/octet-stream")})# 指定POST参数的编码格式headers = {"Content-Type":data.content_type}# 发送请求requests.post(url=url, headers=headers, data=data)

提交 application/json 格式的参数:

data = {"user":"yintao","pwd":"123456"}requests.post(url=url, json=data)

如果觉得《Python爬虫之模拟POST请求》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。