今天需要到这个广东省科学技术厅网站上查一个办件信息，结果发现……
这个不能直接选页码也不能搜索的分页真是剧毒……好几百页让人怎么翻呢。。。
于是我果断F12看一下
可以看到请求的url和post的表单数据，复制到浏览器看看
这里最重要的参数就是pageNum（第几页）和pageSize（每页有多少条数据）
http://zwfw./portal/xnjd/bjxx?pageNum=1&pageSize=10&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5
果然是第一页的10条数据，可以改它的pagesize，但是我发现最大只能改到50，超过50就会请求失败了。
所以我就用python写个循环去请求每一页好了。pageNum就固定在50，用format来修改pageNum。
具体总页数我也不知道，随便试了几次大概就是有4000多条数据。
import requestsimport jsondef start():url = "http://zwfw./portal/xnjd/bjxx?pageNum={}&pageSize=50&orgCode=006939801&xzqhdm=440000&url=%2Fprocess-details&phase=5"for i in range(1, 100):url2 = url.format(i)res = requests.post(url2)print(res.text)if __name__ == "__main__":start()
就会全部出现在控制台，ctrl+F就可以马上搜索到想要的流水号，不用慢慢翻页啦开心~
如果觉得《python爬取分页数据》对你有帮助，请点赞、收藏，并留下你的观点哦！
