爬虫是伴随互联网的兴起而来的，以前很早的互联网，比如曾经的雅虎，你能想象给别人看的网页都是人工后台一个个给弄上去的吗。就跟今天的一些内容网站，比如悟空问答一样，用户给一个个补录上去，让大家看的。
但是搜索引擎不行，互联网的内容简直太多了，软件是摩尔定律级别，网页就更不说了。如果靠人工，根本不可能搞定这么多东西。就产生了很多算法，比如深度优先，广度优先等，尽量的去抓取别人的网页和内容。这其中也有很多的规则，并不是什么内容都允许抓取的。比如百度的爬虫，一般叫百度蜘蛛spider。爬取规则，你偶尔会看到自己项目中也会有类似robots.txt这样文件，就是爬虫规则。你可以写明不允许爬取，正常的蜘蛛是不应该再来抓取你的内容的。
一般大家能看到的，被爬取的内容都是明网，还有子网，暗网，你可以自己搜索了解一下。据说暗网的内容更多，更让人惊心动魄，被大家定义为非法的，“说是为了保护大家”，哎，就算是吧。
学爬虫，大家不需要搞到搜索引擎的级别，这个是谷歌，百度这种强搜索倾向的公司去搞的。一般来说，Python的这个框架Scrapy，就可以递归爬取内容，可以从它开始去学习如何爬取。零基础难度也不算大，但还是需要你花一些精力去研究的。偶自己没去从事过爬取的岗位。现在厉害的人多了，你可以去从简单的实例开始，比如随便搜搜，‘偶用爬虫一天时间“偷了”知乎一百万用户，只为证明PHP是世界上最好的语言’，爬取网易云音乐，用Python解决租房问题等例子，都非常有趣，这些都是学习的好例子。
如果觉得《零基础成为一个爬虫难度大吗 – PHP基础 – 前端 php 动态获取配置》对你有帮助，请点赞、收藏，并留下你的观点哦！
