一、确定需求
抓取京东详情页上的图书(打开搜索页面,输入出版社,点击按销量排、只看有货)确定抓取元素:(共12个)ID / 书名 / 价格 / 作者 / 出版日期 / 出版社 / 总评论数 / 书店名 /
ISBN /类型新建表打开docker,运行splash
docker run -p 8050:8050 scrapinghub/splash
二、流程
(一) 创建项目、爬虫
scrapy startproject jd_list
scrapy genspider name
(二) 修改 Items
建字典,包含10个键ID = scrapy.Field()name = scrapy.Field()price = scrapy.Field()author = scrapy.Field()pub_time = scrapy.Field()publisher = scrapy.Field()comment_num = scrapy.Field()store = scrapy.Field()ISBN = scrapy.Field()book_type = scrapy.Field()
新建数据库表
(三) 修改 spider
访问url,解析页面,返回数据确定url/?key=+
出版社名 +
&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&psort=3%5E&stock=1&click=1
翻页<li class="next"><a href="/?key=%E6%B9%96%E5%8D%97%E6%96%87%E8%89%BA%E5%87%BA%E7%89%88%E7%A4%BE&act=input&sort_type=sort_sale_amt_desc&filter=0%7C0%7C1%7C0%7C0%7C0%7C0%7C0%7C0%7C0%7C0%7C0%7C0%7C0%7C&page_index=2" title="下一页">下一页</a></li>
注意事项:
a. 注意导入Items模块
b. 判断是否需要用上Splash
c. 用SplashRequest 代替ScrapyRequest
(四) 修改 pipelines
存入数据库,修改存入的表
(五) 修改 middleware
开启代理
(五) 修改 setting
修改user-agent开启splash端口docker run -p 8050:8050 scrapinghub/splash
http://localhost:8050
连接数据库开启代理
如果觉得《【京东】抓取京东详情 评论_8.17》对你有帮助,请点赞、收藏,并留下你的观点哦!