Python爬虫之模拟POST请求
POSTContent-typeapplication/x-www-form-urlencoded请求报文样式 multipart/form-data请求报文样式 application/json请求报文样式 text/xml请求报文样式 flask 获取参数的几种方式方式request.argsrequest.formrequest.valuesrequest.datarequest.get_json() Python 中 requests 模块提交 POST 参数的几种方式:提交 application/x-www-form-urlencoded 格式的参数:提交 multipart/form-data 格式的参数,需要借助一个第三方模块 requests_toolbelt 来对参数进行封装:提交 application/json 格式的参数:POST
HTTP/1.1 协议规定的 HTTP 请求方法有 OPTIONS、GET、HEAD、POST、PUT、DELETE、TRACE、CONNECT 这几种。其中 POST 一般用来向服务端提交数据,本文主要讨论 POST 提交数据的几种方式。
协议规定 POST 提交的数据必须放在消息主体(entity-body)中,但协议并没有规定数据必须使用什么编码方式。实际上,开发者完全可以自己决定消息主体的格式,只要最后发送的 HTTP 请求满足上面的格式就可以。
Content-type
在POST请求中,可以在请求头中添加Content-Type来告诉服务器发送参数的数据格式,Content-Type的值有一下几种:
application/x-www-form-urlencoded
默认地,表单数据会编码为 “application/x-www-form-urlencoded”。提交的参数会以键值对的形式添加到请求体中,多个参数之间以 & 分隔,如果参数中有空格,空格会被转换为 + 号。
请求报文样式
User-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: a84e25d1-54de-4fa3-8781-f3dc6da2f2f3Host: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Type: application/x-www-form-urlencodedContent-Length: 18test=123&wd=python
multipart/form-data
这种方式一般用来上传文件,各大服务端语言对它也有着良好的支持。
上面提到的这两种 POST 数据的方式,都是浏览器原生支持的,而且现阶段标准中原生 表单也只支持这两种方式(通过 元素的 enctype 属性指定,默认为 application/x-www-form-urlencoded。其实 enctype 还支持 text/plain,不过用得非常少)。
请求报文样式
POST /add HTTP/1.1User-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: d6cbddb6-da87-445e-8572-7216f7b9ba6fHost: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Type: multipart/form-data; boundary=--------------------------642707373735716793959484Content-Length: 11185----------------------------postmanContent-Disposition: form-data; name="name"fire----------------------------postmanContent-Disposition: form-data; name="password"123456----------------------------postmanContent-Disposition: form-data; name="file"; filename="ex2.doc"<ex2.doc>----------------------------postman--
application/json
application/json 这个 Content-Type 作为响应头大家肯定不陌生。实际上,现在越来越多的人把它作为请求头,用来告诉服务端消息主体是序列化后的 JSON 字符串。由于 JSON 规范的流行,除了低版本 IE 之外的各大浏览器都原生支持 JSON.stringify,服务端语言也都有处理 JSON 的函数,使用 JSON 不会遇上什么麻烦。
请求报文样式
POST /add HTTP/1.1Content-Type: application/jsonUser-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: d9150983-c9c9-4d95-a946-fa24ee66140dHost: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Length: 37{"user":"root","pwd":123456,abc:5436}
text/xml
它是一种使用 HTTP 作为传输协议,XML 作为编码方式的远程调用规范。
请求报文样式
POST /add HTTP/1.1Content-Type: text/xmlUser-Agent: PostmanRuntime/7.24.0Accept: */*Cache-Control: no-cachePostman-Token: 60ce6454-9f0e-49b5-831a-75d07b24fe53Host: 127.0.0.1:5000Accept-Encoding: gzip, deflate, brConnection: keep-aliveContent-Length: 122<note><to>Tove</to><from>Jani</from><heading>Reminder</heading><body>Don't forget me this weekend!</body></note>
flask 获取参数的几种方式方式
request.args
用于获取GET请求url中的参数,返回的是一个字典集合,可以以字典的方式直接使用。
request.form
主要用于获取以表单方式提交时,当请求头中content-type为application/x-www-form-urlencoded和multipart/form-data,返回的是一个字典集合,可以以字典的方式直接使用。
request.values
可以获取获取GET请求url中的参数,也可以获取表单中的数据,返回的也是一个字典集合。
request.data
可以获取 text/xml、application/json,都是二进制流。
无法获取multipart/form-data、application/x-www-form-urlencoded。
request.get_json()
可以获取 text/xml、application/json,都是二进制流。
无法获取multipart/form-data、application/x-www-form-urlencoded。
Python 中 requests 模块提交 POST 参数的几种方式:
提交 application/x-www-form-urlencoded 格式的参数:
data = {"user":"yintao", "pwd":"123456"}requests.post(url=url, data=data)
提交 multipart/form-data 格式的参数,需要借助一个第三方模块 requests_toolbelt 来对参数进行封装:
from requests_toolbelt import MultipartEncoder# 用MultipartEncoder函数对参数进行编码# 如果要POST文件,需要用元组上传文件信息# 元组格式:(文件名, 文件二进制流, "application/octet-stream")data = MultipartEncoder({"user":"yintao","pwd":"123456","file":("image", open(r"C:\Users\Administrator\Desktop\page.png", "rb").read(), "application/octet-stream")})# 指定POST参数的编码格式headers = {"Content-Type":data.content_type}# 发送请求requests.post(url=url, headers=headers, data=data)
提交 application/json 格式的参数:
data = {"user":"yintao","pwd":"123456"}requests.post(url=url, json=data)
如果觉得《Python爬虫之模拟POST请求》对你有帮助,请点赞、收藏,并留下你的观点哦!