失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > python爬虫学习(六)kfc门店地址

python爬虫学习(六)kfc门店地址

时间:2020-10-07 20:24:52

相关推荐

python爬虫学习(六)kfc门店地址

这个项目比药监局简单,但是我在抓取url的时候抓成了/kfccda/ashx/GetStoreList.ashx

每次的输出都是-1000,弄了蛮久。

以此为鉴。

第二就是text格式文件可以用json对象输出

# -*- coding: utf-8 -*-import requestsimport jsonif __name__ == '__main__':all_data_list = []url= '/kfccda/ashx/GetStoreList.ashx?op=keyword'path=input('请输入要查询的地址:')headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}#参数for pageIndex in range(1,5):pageIndex = str(pageIndex)data={'cname':'','pid':'','keyword': path, #地址'pageIndex': pageIndex,#页数'pageSize': '20'#一页显示多少个}response= requests.post(url=url, headers=headers, data=data)all_data_list.append(response.json())# 输出状态码print(response.status_code)# 输出错误print(response.raise_for_status())fileName = path + '.json'fp = open(fileName, 'w', encoding='utf-8')# json中含有中文,所以要加上ensure_ascii=Falsejson.dump(all_data_list, fp=fp, ensure_ascii=False)print(fileName, "完成")

如果觉得《python爬虫学习(六)kfc门店地址》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。