失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > python爬取ajax动态内容肯德基门店 Python爬虫如何爬取KFC地址

python爬取ajax动态内容肯德基门店 Python爬虫如何爬取KFC地址

时间:2018-08-06 20:17:31

相关推荐

python爬取ajax动态内容肯德基门店 Python爬虫如何爬取KFC地址

随着人们生活水平的提高,肯德基这类的快餐消费的十分火爆,成为小朋友和年轻人的最爱,我们到一个地方想要找到肯德基店面,会根据导航获取肯德基地址,那你知道我们也可以使用python爬虫获取KFC地址吗?我们可以使用python爬虫的requests模块模拟浏览器发送请求对肯德基官网的数据进行爬取,本文向大家介绍相关步骤。

爬虫目标:使用requests模块对肯德基官网的数据进行爬取。

requests模块作用:requests模块是python一款原生的基于网络请求的模块,我们用来模拟浏览器发送请求。

1、导入requests模块#调用requests模块

importrequests

if__name__=='__main__':

2、获取要请求的url并发起请求

requests模块请求功能来代替我们用户在网页上的鼠标点击操作,即使不用浏览器也能完成访问。#获取要请求的url

post_url='/kfccda/ashx/GetStoreList.ashx?op=keyword'

kw=input('请输入城市名:')

data={

'cname':'',

'pid':'',

'keyword':kw,

'pageIndex':'1',

'pageSize':'10'

}

#UA伪装

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)

Chrome/87.0.4280.141Safari/537.36'

}

3、获取响应数据并储存数据

发起了请求,服务器自然会给回应,从服务器返回的数据中可以筛选出我们所希望得到的数据。#获得请求返回数据并保存

dict_text=response.text

#虽然返回的是txt格式,但是这里保存成json格式,就可以使用自动调整格式了,更方便查看

filename=kw+'市kfc分布.json'

fp=open(filename,'w',encoding='utf-8')

fp.write(dict_text)

print('爬取成功~')

以上就是Python爬虫如何爬取KFC地址的步骤,是不是挺简单的,可以尝试看看哟~更多python爬虫推荐:python爬虫教程。

如果觉得《python爬取ajax动态内容肯德基门店 Python爬虫如何爬取KFC地址》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。