这个项目比药监局简单,但是我在抓取url的时候抓成了/kfccda/ashx/GetStoreList.ashx
每次的输出都是-1000,弄了蛮久。
以此为鉴。
第二就是text格式文件可以用json对象输出
# -*- coding: utf-8 -*-import requestsimport jsonif __name__ == '__main__':all_data_list = []url= '/kfccda/ashx/GetStoreList.ashx?op=keyword'path=input('请输入要查询的地址:')headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'}#参数for pageIndex in range(1,5):pageIndex = str(pageIndex)data={'cname':'','pid':'','keyword': path, #地址'pageIndex': pageIndex,#页数'pageSize': '20'#一页显示多少个}response= requests.post(url=url, headers=headers, data=data)all_data_list.append(response.json())# 输出状态码print(response.status_code)# 输出错误print(response.raise_for_status())fileName = path + '.json'fp = open(fileName, 'w', encoding='utf-8')# json中含有中文,所以要加上ensure_ascii=Falsejson.dump(all_data_list, fp=fp, ensure_ascii=False)print(fileName, "完成")
如果觉得《python爬虫学习(六)kfc门店地址》对你有帮助,请点赞、收藏,并留下你的观点哦!