在学习Python之前,我们要知道,python的用途,学习它可以给我们带来什么?
Python主要有网络爬虫,网络开发,人工智能,自动化运维
在这里我们主要看一看网络爬虫,什么叫网络爬虫?
网络爬虫又称网络蜘蛛,是指按照某种规则在网络上爬取所需内容的脚本程序.
众所周知,每个网页通常包含其他网页的入口,网络爬虫则通过一个网址一次进入其他网址获取所需内容.
爬虫有什么用?
做垂直搜索引擎
科学研究:在线人类行为,在线社群演化,人类动力学研究,计量社会学,复杂网络
数据挖掘,等领域的实证研究都需要大量数据,网络爬虫是收集相关数据的利器
偷窥,hacking,发垃圾邮件.......
爬虫是搜索引擎的第一步也是最容易的一步.
为什么眼下最火的是Python?
相比其它静态编程语言,如java,c#,c++,Python抓取网页文档的接口更简洁,
相比其他动态脚本语言,如perl,shell,Python的urllib2包提供了较为完整的访问网页文档的API.
此外,抓取网页有时候需要模拟浏览器的行为,很多网站对于生硬的爬虫抓取都是封杀的.
这时我们需要模拟器user agent的行为构造合适的请求,譬如模拟用户登录,模拟session/cookie的存储和设置,在Python里都有非常优秀的第三方包帮你搞定,如Requests,mechanize
网页抓取后的处理
抓取的网页通常需要处理,比如过滤html标签,提取文本等.Python的beoutifulsoap提供了简洁的文档处理功能,能用极短的代码完成大部分文档的处理.
如果觉得《python一个强大的编程软件零基础也可以学习》对你有帮助，请点赞、收藏，并留下你的观点哦！
