python爬虫之Scrapy框架的post请求和核心组件的工作 流程
一 Scrapy的post请求的实现
在爬虫文件中的爬虫类继承了Spider父类中的start_urls,该方法就可以对start_urls列表中的url发请求。
def start_requests(self):for u in self.start_urls:yield scrapy.Request(url=u,callback=self.parse)
注意 该方法的默认是对起始的url发起get请求，想法post请求，则需要重写这个方法。
需求 对百度翻译进行post请求的获取
import scrapy#发送post请求 这里的post请求没有实际的应用 直接使用request来发送post请求比较简单#需求 通过百度翻译中的搜索 也就是post请求 这里搜索的内容是dogclass PostSpider(scrapy.Spider):name = 'post'# allowed_domains = ['']start_urls = ['/sug']#这是父类中的方法 start_urls被封装到这里面来def start_requests(self):#注意 这是原先的# for url in self.start_urls:##直接发送get请求## yield scrapy.Request(url=url,callback=self.parse)data ={'kw':'dog'}#重写父类的方法start_urlsfor url in self.start_urls:#直接发送get请求yield scrapy.FormRequest(url=url,formdata=data,callback=self.parse)def parse(self, response):#这里拿到的是一个json 而不是源码 不需要使用response.xpathprint(response.text)
执行即可
二 五大核心组件的工作流程
(1)引擎（Scrapy Engine）
用来处理整个系统的数据流，触发事务（框架的核心）
(2)调度器（Scheduler）
用来接收引擎发过来的请求， 压入队列中, 并在引擎再次请求的时候返回.由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
(3)下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
(4)爬虫（Spiders）
爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息.即所谓的实体(Item)
(5)项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据
如果觉得《python爬虫之Scrapy框架的post请求和核心组件的工作 流程》对你有帮助，请点赞、收藏，并留下你的观点哦！
