python爬虫Scrapy介绍和学习笔记
scrapy是一个python的爬虫框架,可以用来做数据采集，数据分析等。
架构概览
Scrapy架构
Scrapy引擎(Scrapy Engine)
引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。
调度器(Scheduler)
调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
下载器(Downloader)
下载器负责获取页面数据并提供给引擎，而后提供给spider。
Spiders
Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
Item Pipeline
Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存取到数据库中)。
下载器中间件(Downloader middlewares)
下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
Spider中间件(Spider middlewares)
Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
安装说明
建议在python虚拟机环境下安装。最新版本的pycharm创建的项目默认就是虚拟机环境，在pycharm中打开终端执行pip3 install scrapy，就可以安装。在pycharm中默认会将scrapy的依赖安装上。
创建项目命令
scrapy startproject myproject [project_dir]
运行项目
scrapy crawl myproject -o myproject.json
-o参数是将分析出来的数据输出到文件。
创建新的spider
scrapy genspider [-t template]
例如:
scrapy genspider spider1
是告诉爬虫在爬取哪个域名的链接，不是这个域名内的链接就不再爬取。
学习笔记
spider中的迭代元素时使用yield
在spider中使用yield有以下作用:
使用yield返回item，将item交给引擎，引擎会将item交给pipelines处理。使用yield迭代完后，后面的代码还可以继续执行。例如上面的print()在每次迭代完会执行一次。如果直接使用return，除了函数会退出，而且不会将返回结果交给pipelines处理。
pipelines管道
pipelines也是在创建爬虫项目时自动生成在pipelines.py中，这里是对结构化数据进行存储。
class TutorialPipeline(object): # 这个函数非必须实现，这个函数在初始化时执行一次，可以初始化数据库参数或者打开文件描述符等。 def __init__(self): self.f = open("pipelines.json
如果觉得《pycharm安装scrapy失败_python爬虫框架scrapy》对你有帮助，请点赞、收藏，并留下你的观点哦！
