什么是爬虫
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
简单来说，就是通过程序从web网页上获取自己想要的数据，即自动抓取数据。
爬虫的本质
模拟浏览器发送请求从而获取我们想要的数据。
浏览器打开网页的过程：当你在浏览器中输入地址后，通过DNS服务器将域名解析为ip地址找到服务器主机，向服务器发送一个请求，服务器接收请求处理后发送给响应给用户，浏览器接受到结果，包括html,js,css等文件内容，然后浏览器进行相应的处理，最终在页面上呈现出格式化的数据。
用户看到的浏览器的结果一般就是由HTML代码构成的，我们爬虫就是为了获取这些内容，通过分析和过滤html代码，可以从中获取我们想要的资源。
爬虫的基本流程
发起请求：使用HTTP协议向目标主机发起请求，可以包含额外的header等信息，等待服务器响应。获取响应：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能是HTML,Json字符串，二进制数据等类型。解析内容：得到的内容可能是HTML,可以用正则表达式，页面解析库进行解析，可能是Json,可以直接转换为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。保存数据：保存形式多样，可以存为文本，也可以保存到数据库，或者保存特定格式的文件。能爬取什么样的数据
网页文本：如HTML文档，Json格式化文本等。图片：获取到的是二进制文件，保存为图片格式。视频：同样是二进制文件。其他：只要请求到的，都可以获取。如何解析数据
直接处理Json解析正则表达式处理BeautifulSoup解析处理PyQuery解析处理XPath解析处理关于抓取的页面数据和浏览器里看到的不一样的问题
出现这种情况是因为，很多网站中的数据都是通过js，ajax动态加载的，所以直接通过请求获取的页面和浏览器显示的不同。
如何解决js渲染的问题？
分析ajaxSelenium/webdriverSplashPyV8,Ghost.py
爬虫框架Scrapy的安装与基本使用
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。
其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。
Scrapy 使用了Twisted(其主要对手是Tornado)异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。
可以参考：
/scrapy/scrapy
/en/latest/index.html
中文可以参考：
/marchtea/scrapy_doc_chs
安装Scrapy框架
pip3 install scrapy
如果你使用anaconda，使用conda install安装：
conda install scrapy
会问你是不是需要安装依赖的包，输入yes。
本文安装的是Scrapy 1.6.0 版本的。
创建一个scrapy项目
scrapy startproject extraction
结果显示为：
(ContentExtractionForWebPages) :scrapy startproject extractionNew Scrapy project extraction, using template directory /usr/local/anaconda3/envs/ContentExtractionForWebPages/lib/python3.8/site-packages/scrapy/templates/project, created in:/Users/lurongming/mygithub/ContentExtractionForWebPages/extractionYou can start your first spider with:cd extractionscrapy genspider example
可以使用tree命令查看目录下都创建了哪些文件（如果需要使用tree命令，Mac 可以使用brew install tree来安装）：
(ContentExtractionForWebPages) :tree.└── extraction├── extraction│ ├── __init__.py│ ├── __pycache__│ ├── items.py│ ├── middlewares.py│ ├── pipelines.py│ ├── settings.py│ └── spiders│ ├── __init__.py│ └── __pycache__└── scrapy.cfg5 directories, 7 files
这些文件分别如下：
extraction/ : 该项目的python模块，之后您将在此加入代码。extraction/items.py : 项目中的item文件。相当于一个容器，和字典较像。extraction/middlewares.py ：项目中的middlewares.py文件。定义Downloader Middlewares(下载器中间件)和Spider Middlewares(蜘蛛中间件)的实现。extraction/pipelines.py : 项目中的pipelines文件。定义Item Pipeline的实现，实现数据的清洗，储存，验证。extraction/settings.py : 项目的设置文件。extraction/spiders/ : 放置spider代码的目录。scrapy.cfg ：配置文件。
创建一个spider
这个类是用来爬取数据的，需要继承 scrapy.Spider 类。需要定义以下三种属性：
name: 用于区别Spider。该名字必须是唯一的，不可以为不同的Spider设定相同的名字。start_urls: 包含了Spider在启动时进行爬取的url列表。第一个被获取到的页面将是其中之一，后续的URL则从初始的URL获取到的数据中提取。parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的 Response 对象将会作为唯一的参数传递给该函数。 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。
在extraction/spiders/目录下创建一个文件，spider_demo.py：
import scrapyclass SpiderDemo(scrapy.spiders.Spider):name = "SpiderDemo"allowed_domains = ["acm."]start_urls = ["http://acm./JudgeOnline/problemset.php"]def parse(self, response):filename = "problem"with open(filename, wb) as f:f.write(response.body)
编辑extraction/items.py文件：
(ContentExtractionForWebPages) :vim items.py(ContentExtractionForWebPages) :cat items.py# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# /en/latest/topics/items.htmlimport scrapyclass ExtractionItem(scrapy.Item):# define the fields for your item here like:# name = scrapy.Field()# passtitle = scrapy.Field()link = scrapy.Field()desc = scrapy.Field()
爬取
运行命令：
scrapy crawl SpiderDemo
如果出现”KeyError: ‘Spider not found:“错误，可能是名字写错了，本文在继承scrapy.spiders.Spider的SpiderDemo类中定义的是name属性是”SpiderDemo“：
class SpiderDemo(scrapy.spiders.Spider):name = "SpiderDemo"
结果如下：
(ContentExtractionForWebPages) :scrapy crawl SpiderDemo-02-29 20:54:07 [scrapy.utils.log] INFO: Scrapy 1.6.0 started (bot: extraction)-02-29 20:54:07 [scrapy.utils.log] INFO: Versions: lxml 4.5.0.0, libxml2 2.9.9, cssselect 1.1.0, parsel 1.5.2, w3lib 1.21.0, Twisted 19.10.0, Python 3.8.1 (default, Jan 8 , 16:15:59) - [Clang 4.0.1 (tags/RELEASE_401/final)], pyOpenSSL 19.1.0 (OpenSSL 1.1.1d 10 Sep ), cryptography 2.8, Platform macOS-10.15.3-x86_64-i386-64bit-02-29 20:54:07 [scrapy.crawler] INFO: Overridden settings: {BOT_NAME: extraction, NEWSPIDER_MODULE: extraction.spiders,
如果觉得《Python 爬虫框架Scrapy的安装与基本使用（入门）》对你有帮助，请点赞、收藏，并留下你的观点哦！
