Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 也就是说我们对网页的解析需要在Spider类中定义。
Spider类的爬取方式:
①spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL, 并以 parse 为回调函数生成 Request。
②在回调函数内分析返回的(网页)内容,返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的Request对象之后会经过Scrapy处理,下载相应的内容,并调用设置的callback函数(函数可相同)。
接下来要完成的是对猫眼电影TOP100的电影进行翻页提取电影名+相对地址
1.更改one_spider.py文件
class SamSpider(scrapy.Spider):name = "sam"start_urls = ["/board/4"]url = '/board/4'def parse(self, response):print('>'*50,'获取数据')for sel in response.xpath('//*[@id="app"]/div/div/div/dl/dd'):item = SamzhuItem()item['name'] = sel.xpath('div/div/div[1]/p[1]/a/@title').extract()item['url'] = sel.xpath('div/div/div[1]/p[1]/a/@href').extract()print(item)print('>'*50,'获取下一页请求')a=response.css('.list-pager li:last-child a::attr(href)').extract()[0] #选择到‘下一页’的按钮if re.search(r'offset',a,re.M|re.I)!=None:print('换页成功')yield scrapy.Request(self.url+a, callback=self.parse) #返回一个requset,设置callback函数为parseprint('+'*50)else:print('到达终点')
2.运行结果:
可以发现每次获取完一页数据后,都会DEBUG输出一条信息,代表我们发起了一个新的请求,可以看到请求的网址就是我们下一页的网址,因为我们下一页的回调函数也是本身,所以便构成了迭代效果。
小结:
上面采用了内置的scrapy.Spider,除了这个,还有CrawlSpider。
从这里开始已经可以开始感受到Scrapy的一些魅力了,能够使自己把更多的时间精力放在具体的爬虫工作上,而非逻辑搭建。
如果觉得《scrapy框架学习(三)Spiders》对你有帮助,请点赞、收藏,并留下你的观点哦!