1. 爬虫基础
1.1 概念
爬虫是一个模拟人类请求网站行为的程序,自动请求网页、并把数据抓取下来然后使用一定的规则提取有价指的数据。
1.2 爬虫应用场景:
搜索引擎(百度或谷歌)伯乐在线惠惠购物助手数据分析抢票软件等1.3 为什么要用Python写爬虫?通过对比多种高级语言:
2. HTTP 协议介绍
2.1 HTTP 协议
指的是超文本传输协议,Hyper Text Transfer Protocol,是一种发布和接受HTML的页面的方法。服务器端口号是80端口。
HTTPS协议是HTTP协议的加密协议,在HTTP下加入了SSL层,服务器端口号是443端口。
2.2 URL
2.3 常用请求Method
HTTP 有8种请求方式,常用的有get 请求和 post 请求
有的网站和服务器为了做反爬虫机制,也经常不按常理出牌,如将一个本来使用get方法的请求改成post请求,这种时候要视情况而定。
2.4 常见的请求头参数
HTTP协议中向服务器发送一个请求,数据分成三个部分,第一个在url中,第二个在body中,第三个是head。
user-agent :浏览器名称,标识身份,伪装爬虫,请求网页时通过这个参数可以知道请求是从哪种浏览器发送;如果 user-agent = python,对有反爬虫机制的网站来说,可以轻易判断请求时爬虫。referer:表明当前数据从哪个url来的,也可以做反爬虫技术cookie:用啦判断多词请求时标识是否是来自同一个人,标识身份
2.5 常见的响应状态码
如果觉得《【Python网络爬虫】150讲轻松搞定Python网络爬虫付费课程笔记 篇一——爬虫基础》对你有帮助,请点赞、收藏,并留下你的观点哦!