最近在尝试用python爬取安居客房价数据,在这里给需要的小伙伴们提供代码,并且给出一点小心得。
首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本数据爬取的人会很多,所以我们需要考虑更换代理IP和随机更换请求头的方式来对房价数据进行爬取。(下面没有给出这两种方式的代码,如果有需要可以看我别的博客,将代码加入到其中)
其次是爬取规则的选择,理想的房价数据应该是这样的,结构化的。
但是实际上遇到的会是下面的情况,户型和房价数据会缺失,所以这就导致了爬取规则的不确定性,用xpath对于格式一致的数据爬取会比较简单,但是这样结构不一致的数据爬取出来就比较困难,所以这里我采用的是正则表达式来进行爬取,因为正则表达式可以对每个块进行处理,什么意思呢?也就是将爬取范围缩小到每一块的范围,从而对每一块的数据进行精确处理,而不是处理所有块的数据,在这里就是对每一个小区的数据进行单独的处理。
正则表达式提取房价:
1.Note:因为小区,地址数据是结构化的,不需要单独进行处理,所以下面的特殊处理针对的是面积、价格和户型。
2.缩小范围(大致定位):将面积、价格、户型分别缩小到一小块源代码中,具体代码如下:
huxing_mianji_prices = re.findall('<a class="address"(.*?)<!-- 户型销控信息开关 -->',res.text,re.S)
我们打印出来这个列表的长度是60,也就是用这一行代码可以将每一页的60个小区都包含进来,所以这一步完成了将户型、面积、价格确定在一小块源代码中了。
3.具体定位:之后我们要操作的是对这里面的数据进行具体定位,对这六十个元素根据索引进行遍历,如果某一个小区的户型缺失了,那么,就用无户型这个字符串来填充,同理面积和价格也一样,具体的代码可以见下面的details()
函数。
4.清洗数据:接下来就是清洗数据了,具体定位之后可能会有数据包含了标签,最常见的就是span
标签了,这个时候需要用replace()
函数来进行替换了,注意replace()
前面的引号是旧字符串,后面的引号是新字符串,不要弄混淆了。具体的代码可以见下面的select_datas()
函数。
5.写入表格:写入表格操作采用的是xlwt
库,这里的写法逻辑是先创建空表,再创建表头,最后写入数据。具体的代码可以见下面的write_to_excel()
函数。
import randomimport reimport requestsimport xlwtfrom user_agent import get_user_agentbook = xlwt.Workbook(encoding='utf-8') #0.创建一个工作簿sheet = book.add_sheet("安居客",cell_overwrite_ok=True) ## 1.创建空表headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36'),'Accept-Encoding': 'gzip, deflate','referer': '/','Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2', }##请求网站信息def req():response = requests.get('https://sh./',headers=headers) ##加请求头,如果需要加随机请求头和代理ip的可以看我的别的博客return response#解析网站def crawl():res = req()names = re.findall('<span class="items-name">(.*?)</span>',res.text,re.S)places = re.findall('<span class="list-map" target="_blank">\[ (.*?) (.*?) \] (.*?)</span>',res.text,re.S)huxing_mianji_prices = re.findall('<a class="address"(.*?)<!-- 户型销控信息开关 -->',res.text,re.S)return names,places,huxing_mianji_prices##具体定位户型等详细信息def details():names,places,huxing_mianji_prices = crawl()huxing_list = []mianji_list = []prices_list = []for content in huxing_mianji_prices: ##对每一块进行操作,方便对后续缺失、非结构化数据进行处理。strings = '户型:'strings1 = '建筑面积:'if strings in content: #在小范围内查找huxing = re.findall('户型:.*?<span>(.*?) ',content,re.S)[0]else:huxing = "无户型"huxing_list.append(huxing)if strings1 in content: #在每一块里寻找面积mianji= re.findall('建筑面积:(.*?)</span>',content,re.S)[0]else:mianji = "无面积"mianji_list.append(mianji)price = re.findall('<p class="price(.*?)</p>', content, re.S)[0]prices_list.append(price)return names,places,huxing_list,mianji_list,prices_list #返回户型,面积,价格#清洗数据,因为是用正则表达式提取的,所以要将无关的符号去掉def select_datas():names,places,huxing_list,mianji_list,prices_list = details()final_huxing = []final_mianji = mianji_listfinal_prices = []# print(prices_list)for i in range(len(huxing_list)):if "span" in huxing_list[i]:huxing_list[i]=huxing_list[i].replace('</span>','、').replace('/<span>','')else:passfinal_huxing.append(huxing_list[i])if '-txt">' in prices_list[i]:prices_list[i] = prices_list[i].replace('-txt">','')if 'span' in prices_list[i]:prices_list[i] = prices_list[i].replace('<span>',':').replace('</span>','')if '">' in prices_list[i]:prices_list[i] = prices_list[i].replace('">','')final_prices.append(prices_list[i])return names,places,huxing_list,mianji_list,prices_list#写入表格def write_to_excel():names,places,huxing_list,mianji_list,prices_list=select_datas() ##调用处理之后的数据sheet.write(0, 0, '小区名') ##2. 创建表头sheet.write(0, 1, '地址')sheet.write(0, 2, '户型')sheet.write(0, 3, '面积')sheet.write(0, 4, '价格')for i in range(len(names)):name = names[i]place = places[i]huxing = huxing_list[i]mianji = mianji_list[i]price = prices_list[i]sheet.write(i+1 ,0 , name) ##3.写入数据sheet.write(i + 1, 1, place)sheet.write(i + 1, 2, huxing)sheet.write(i + 1, 3, mianji)sheet.write(i + 1, 4, price)book.save('上海安居客房价数据' + '.xls')def main():write_to_excel()if __name__ == "__main__":main()
总结:
1.在爬取数据之前要多思考。思考之后那基本动手写代码就是体力活了。
2.尽量和浏览器访问网站一致,防止被对方服务器给检测到。另外在选择代理之后尽量选择高匿代理,否则你使用了代理之后对于安居客这种网站还是会被检测到本机ip的。
3.多使用函数,在每一段代码编写时候输出看一下,防止在后面会出现大问题,又得从前面开始检查。
如果觉得《Python爬虫实战-详细讲解爬取安居客房价数据》对你有帮助,请点赞、收藏,并留下你的观点哦!