什么是爬虫
网络爬虫(又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
简单来说,就是通过程序从web网页上获取自己想要的数据,即自动抓取数据。
爬虫的本质
模拟浏览器发送请求从而获取我们想要的数据。
浏览器打开网页的过程:当你在浏览器中输入地址后,通过DNS服务器将域名解析为ip地址找到服务器主机,向服务器发送一个请求,服务器接收请求处理后发送给响应给用户,浏览器接受到结果,包括html,js,css等文件内容,然后浏览器进行相应的处理,最终在页面上呈现出格式化的数据。
用户看到的浏览器的结果一般就是由HTML代码构成的,我们爬虫就是为了获取这些内容,通过分析和过滤html代码,可以从中获取我们想要的资源。
爬虫的基本流程
发起请求:使用HTTP协议向目标主机发起请求,可以包含额外的header等信息,等待服务器响应。获取响应:如果服务器能正常响应,会得到一个Response,Response的内容便是所要获取的页面内容,类型可能是HTML,Json字符串,二进制数据等类型。解析内容:得到的内容可能是HTML,可以用正则表达式,页面解析库进行解析,可能是Json,可以直接转换为Json对象解析,可能是二进制数据,可以做保存或者进一步的处理。保存数据:保存形式多样,可以存为文本,也可以保存到数据库,或者保存特定格式的文件。能爬取什么样的数据
网页文本:如HTML文档,Json格式化文本等。图片:获取到的是二进制文件,保存为图片格式。视频:同样是二进制文件。其他:只要请求到的,都可以获取。如何解析数据
直接处理Json解析正则表达式处理BeautifulSoup解析处理PyQuery解析处理XPath解析处理关于抓取的页面数据和浏览器里看到的不一样的问题
出现这种情况是因为,很多网站中的数据都是通过js,ajax动态加载的,所以直接通过请求获取的页面和浏览器显示的不同。
如何解决js渲染的问题?
分析ajaxSelenium/webdriverSplashPyV8,Ghost.py
爬虫框架Scrapy的安装与基本使用
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy 使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯,可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各种中间件接口,可以灵活的完成各种需求。
可以参考:
/scrapy/scrapy
/en/latest/index.html
中文可以参考:
/marchtea/scrapy_doc_chs
安装Scrapy框架
pip3 install scrapy
如果你使用anaconda,使用conda install安装:
conda install scrapy
会问你是不是需要安装依赖的包,输入yes。
本文安装的是Scrapy 1.6.0 版本的。
创建一个scrapy项目
scrapy startproject extraction
结果显示为:
(ContentExtractionForWebPages) :scrapy startproject extractionNew Scrapy project extraction, using template directory /usr/local/anaconda3/envs/ContentExtractionForWebPages/lib/python3.8/site-packages/scrapy/templates/project, created in:/Users/lurongming/mygithub/ContentExtractionForWebPages/extractionYou can start your first spider with:cd extractionscrapy genspider example
可以使用tree命令查看目录下都创建了哪些文件(如果需要使用tree命令,Mac 可以使用brew install tree来安装):
(ContentExtractionForWebPages) :tree.└── extraction├── extraction│ ├── __init__.py│ ├── __pycache__│ ├── items.py│ ├── middlewares.py│ ├── pipelines.py│ ├── settings.py│ └── spiders│ ├── __init__.py│ └── __pycache__└── scrapy.cfg5 directories, 7 files
这些文件分别如下:
extraction/ : 该项目的python模块,之后您将在此加入代码。extraction/items.py : 项目中的item文件。相当于一个容器,和字典较像。extraction/middlewares.py :项目中的middlewares.py文件。定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现。extraction/pipelines.py : 项目中的pipelines文件。定义Item Pipeline的实现,实现数据的清洗,储存,验证。extraction/settings.py : 项目的设置文件。extraction/spiders/ : 放置spider代码的目录。scrapy.cfg :配置文件。
创建一个spider
这个类是用来爬取数据的,需要继承 scrapy.Spider 类。需要定义以下三种属性:
name: 用于区别Spider。该名字必须是唯一的,不可以为不同的Spider设定相同的名字。start_urls: 包含了Spider在启动时进行爬取的url列表。第一个被获取到的页面将是其中之一,后续的URL则从初始的URL获取到的数据中提取。parse() 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
在extraction/spiders/目录下创建一个文件,spider_demo.py:
import scrapyclass SpiderDemo(scrapy.spiders.Spider):name = "SpiderDemo"allowed_domains = ["acm."]start_urls = ["http://acm./JudgeOnline/problemset.php"]def parse(self, response):filename = "problem"with open(filename, wb) as f:f.write(response.body)
编辑extraction/items.py文件:
(ContentExtractionForWebPages) :vim items.py(ContentExtractionForWebPages) :cat items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# /en/latest/topics/items.htmlimport scrapyclass ExtractionItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()# passtitle = scrapy.Field()link = scrapy.Field()desc = scrapy.Field()
爬取
运行命令:
scrapy crawl SpiderDemo
如果出现”KeyError: ‘Spider not found:“错误,可能是名字写错了,本文在继承scrapy.spiders.Spider的SpiderDemo类中定义的是name属性是”SpiderDemo“:
class SpiderDemo(scrapy.spiders.Spider):name = "SpiderDemo"
结果如下:
(ContentExtractionForWebPages) :scrapy crawl SpiderDemo-02-29 20:54:07 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: extraction)-02-29 20:54:07 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.9, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.8.1 (default, Jan 8 , 16:15:59) - [Clang 4.0.1 (tags/RELEASE_401/final)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep ), cryptography 2.8, Platform macOS-10.15.3-x86_64-i386-64bit-02-29 20:54:07 [scrapy.crawler] INFO: Overridden settings: {BOT_NAME: extraction, NEWSPIDER_MODULE: extraction.spiders,
如果觉得《Python 爬虫框架Scrapy的安装与基本使用(入门)》对你有帮助,请点赞、收藏,并留下你的观点哦!