失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > Python:Pycharm如何使用scrapy框架做爬虫?

Python:Pycharm如何使用scrapy框架做爬虫?

时间:2021-05-24 23:21:18

相关推荐

Python:Pycharm如何使用scrapy框架做爬虫?

因为入门python以来一直使用pycharm,所以对着黑白的DOS不习惯,所以此次来实现使用pycharm进行实现使用scrapy框架

①pip install scrapy(首先安装scrapy第三方包) 不会安装的:参考本人另一篇博文:/YiXiao1997/article/details/96345737

②新建第一个scrapy项目,先cd到想要的目录,然后输入:scrapy startproject PythonScrapy,就建好了一个项目

打开新建的项目,然后如图:

在项目目录下新建一个start.py用来实现项目的启动

然后在spider下新建一个Test_spider.py 其中name = "Test_spider"就是爬虫名字,所以在start.py下也启动这个名字

有些网站有反爬虫,所以需要伪装成浏览器,这个时候需要在settings.py中进行设置,修改DEFAULT_REQUEST_HEADERS={}

最后直接运行就可以了

如果觉得《Python:Pycharm如何使用scrapy框架做爬虫?》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。