【scrapy】学习Scrapy入门
字数2820阅读6946评论2喜欢12Scrapy介绍
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。
所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。抓取网页的一般方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页面获取到这些URL加入到爬虫的抓取队列中,然后进入到新页面后再递归的进行上述的操作,其实说来就跟深度遍历或广度遍历一样。
Scrapy 使用 Twisted这个异步网络库来处理网络通讯,架构清晰,并且包含了各种中间件接口,可以灵活的完成各种需求。
整体架构
引擎(Scrapy Engine),用来处理整个系统的数据流处理,触发事务。调度器(Scheduler),用来接受引擎发过来的请求,压入队列中,并在引擎再次请求的时候返回。下载器(Downloader),用于下载网页内容,并将网页内容返回给蜘蛛。蜘蛛(Spiders),蜘蛛是主要干活的,用它来制订特定域名或网页的解析规则。编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。项目管道(Item Pipeline),负责处理有蜘蛛从网页中抽取的项目,他的主要任务是清晰、验证和存储数据。当页面被蜘蛛解析后,将被发送到项目管道,并经过几个特定的次序处理数据。下载器中间件(Downloader Middlewares),位于Scrapy引擎和下载器之间的钩子框架,主要是处理Scrapy引擎与下载器之间的请求及响应。蜘蛛中间件(Spider Middlewares),介于Scrapy引擎和蜘蛛之间的钩子框架,主要工作是处理蜘蛛的响应输入和请求输出。调度中间件(Scheduler Middlewares),介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
爬取流程
上图绿线是数据流向,首先从初始URL开始,Scheduler会将其交给Downloader进行下载,下载之后会交给Spider进行分析,Spider分析出来的结果有两种:一种是需要进一步抓取的链接,例如之前分析的“下一页”的链接,这些东西会被传回Scheduler;另一种是需要保存的数据,它们则被送到Item Pipeline那里,那是对数据进行后期处理(详细分析、过滤、存储等)的地方。另外,在数据流动的通道里还可以安装各种中间件,进行必要的处理。
数据流
Scrapy中的数据流由执行引擎控制,其过程如下:
引擎打开一个网站(open a domain),找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。引擎向调度器请求下一个要爬取的URL。调度器返回下一个要爬取的URL给引擎,引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。一旦页面下载完毕,下载器生成一个该页面的Response,并将其通过下载中间件(返回(response)方向)发送给引擎。引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。引擎将(Spider返回的)爬取到的Item给Item Pipeline,将(Spider返回的)Request给调度器。(从第二步)重复直到调度器中没有更多地request,引擎关闭该网站。
Scrapy项目基本流程
默认的Scrapy项目结构
使用全局命令startproject创建项目,在project_name文件夹下创建一个名为project_name的Scrapy项目。
scrapy startproject myproject
虽然可以被修改,但所有的Scrapy项目默认有类似于下边的文件结构:
scrapy.cfgmyproject/__init__.pyitems.pypipelines.pysettings.pyspiders/__init__.pyspider1.pyspider2.py...
scrapy.cfg 存放的目录被认为是 项目的根目录 。该文件中包含python模块名的字段定义了项目的设置。
定义要抓取的数据
Item 是保存爬取到的数据的容器;其使用方法和python字典类似, 并且提供了额外保护机制来避免拼写错误导致的未定义字段错误。
类似在ORM中做的一样,您可以通过创建一个 scrapy.Item 类, 并且定义类型为 scrapy.Field 的类属性来定义一个Item。
首先根据需要从(DMOZ网站是一个著名的开放式分类目录(Open DirectoryProject),由来自世界各地的志愿者共同维护与建设的最大的全球目录社区)获取到的数据对item进行建模。 我们需要从dmoz中获取名字,url,以及网站的描述。 对此,在item中定义相应的字段。编辑items.py 文件:
import scrapyclass DmozItem(scrapy.Item):title = scrapy.Field()link = scrapy.Field()desc = scrapy.Field()
使用项目命令genspider创建Spider
scrapy genspider [-t template] <name> <domain>
在当前项目中创建spider。
这仅仅是创建spider的一种快捷方法。该方法可以使用提前定义好的模板来生成spider。您也可以自己创建spider的源码文件。
$ scrapy genspider -lAvailable templates:basiccrawlcsvfeedxmlfeed$ scrapy genspider -d basicimport scrapyclass $classname(scrapy.Spider):name = "$name"allowed_domains = ["$domain"]start_urls = ('http://www.$domain/',)def parse(self, response):pass$ scrapy genspider -t basic example Created spider 'example' using template 'basic' in module:mybot.spiders.example
编写提取item数据的Spider
Spider是用户编写用于从单个网站(或者一些网站)爬取数据的类。
其包含了一个用于下载的初始URL,如何跟进网页中的链接以及如何分析页面中的内容, 提取生成 item 的方法。
为了创建一个Spider,您必须继承 scrapy.Spider 类,且定义以下三个属性:
name: 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。start_urls: 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。parse() 是spider的一个方法。 被调用时,每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data),提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
import scrapyclass DmozSpider(scrapy.spider.Spider):name = "dmoz" #唯一标识,启动spider时即指定该名称allowed_domains = [""]start_urls = ["/Computers/Programming/Languages/Python/Books/","/Computers/Programming/Languages/Python/Resources/"]def parse(self, response):filename = response.url.split("/")[-2]with open(filename, 'wb') as f:f.write(response.body)
进行爬取
执行项目命令crawl,启动Spider:
scrapy crawl dmoz
在这个过程中:
Scrapy为Spider的 start_urls 属性中的每个URL创建了 scrapy.Request 对象,并将 parse 方法作为回调函数(callback)赋值给了Request。 Request对象经过调度,执行生成 scrapy.http.Response 对象并送回给spider parse() 方法。
通过选择器提取数据
Selectors选择器简介:
Scrapy提取数据有自己的一套机制。它们被称作选择器(seletors),因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML文件中的某个部分。
XPath 是一门用来在XML文件中选择节点的语言,也可以用在HTML上。 CSS 是一门将HTML文档样式化的语言。选择器由它定义,并与特定的HTML元素的样式相关连。
XPath表达式的例子和含义:
/html/head/title: 选择HTML文档中 <head> 标签内的 <title> 元素/html/head/title/text(): 选择上面提到的 <title> 元素的文字//td: 选择所有的 <td> 元素//div[@class="mine"]: 选择所有具有 class="mine" 属性的 div 元素
提取数据:
观察HTML源码并确定合适的XPath表达式。
在查看了网页的源码后,您会发现网站的信息是被包含在 第二个
元素中。
我们可以通过这段代码选择该页面中网站列表里所有 元素:
response.xpath('//ul/li')
Item 对象是自定义的python字典。 您可以使用标准的字典语法来获取到其每个字段的值。
一般来说,Spider将会将爬取到的数据以 Item 对象返回。所以为了将爬取的数据返回,我们最终的代码将是:
import scrapyfrom tutorial.items import DmozItemclass DmozSpider(scrapy.Spider):name = "dmoz"allowed_domains = [""]start_urls = ["/Computers/Programming/Languages/Python/Books/","/Computers/Programming/Languages/Python/Resources/"]def parse(self, response):for sel in response.xpath('//ul/li'):item = DmozItem()item['title'] = sel.xpath('a/text()').extract()item['link'] = sel.xpath('a/@href').extract()item['desc'] = sel.xpath('text()').extract()yield item
现在对进行爬取将会产生 DmozItem 对象。
保存数据
最简单存储爬取的数据的方式是使用 Feed exports:
scrapy crawl dmoz -o items.json
该命令将采用 JSON 格式对爬取的数据进行序列化,生成 items.json 文件。
如果需要对爬取到的item做更多更为复杂的操作,您可以编写 Item Pipeline 。类似于我们在创建项目时对Item做的,用于您编写自己的 tutorial/pipelines.py 也被创建。不过如果您仅仅想要保存item,您不需要实现任何的pipeline。
补充提示:Windows平台安装Scrapy的特别要求
Windows specific installation notes
Windows平台下,安装Scrapy之前首先要进行以下操作:
安装OpenSSL在Win32 OpenSSL page中下载安装Visual C++ redistributables和对应的OpenSSL安装包,并把其可执行文件目录“*\openssl-win32\bin”加入到环境变量Path中安装Scrapy依赖的二进制包
pywin32
Twisted
zope.interface
lxml
pyOpenSSL
小结
第一篇关于Scrapy的文章主要依据Scrapy 0.24的中文文档,了解、熟悉Scrapy的使用和基本概念,在后面的相关文章中,将进一步加入自己的思考和自行编写的程序,期待能在这个过程中提高自己,也希望能对看到这些文章的读者有用。
参考资料
Scrapy架构概览
初窥Scrapy
Scrapy入门教程
如何入门 Python 爬虫
转载请注明作者Jason Ding及其出处
Github博客主页(http://jasonding1354.github.io/)
CSDN博客(/jasonding1354)
简书主页(/users/2bd9b48f6ea8/latest_articles)
如果觉得《Scrapy:Python的爬虫框架----原理介绍》对你有帮助,请点赞、收藏,并留下你的观点哦!