在我刚接触爬虫的时候就已经听过Scrapy大名了,据说是一个很厉害的爬虫框架,不过那个时候沉迷于Java爬虫。现在终于要来揭开它神秘的面纱了,来一起学习一下吧
欢迎关注公众号:老白和他的爬虫
1.环境搭配
使用Scrapy的话,我建议使用Anaconda+pycharm的环境配置,首先Anaconda为我们继承好了很多的第三方库非常方便实用,pycharm是一个非常好用的python IDE,如果你不太清楚这两者的配置的话,那么请出门右拐,去这里配置一下环境——Anaconda+pycharm配置,还有如果你是python小白的话,什么环境都没有配,你可能更需要Anaconda,直接安装Anaconda不用自己配环境了。
通过这一步,先使用pycharm建立一个简单的项目,随便你起什么名字,例如我自己起的名字是MyTest,再在这个项目下面新建一个Test1.py的文件
第一次打开pycharm,我们可以在左下角打开控制台和终端的窗口
我们可以在终端输入各种命令非常方便
2.简单例子
把环境配好了之后尝试一个简单的例子,在你新建的Test1.py文件里copy这段代码,还有记得在这步之前去Anaconda里面安装Scrapy,如果你不知道怎么在Anaconda里面安装第三方库的话,那么,出门右拐,Anaconda+pycharm配置
import scrapy
class mingyanSpider(scrapy.Spider):
name =
"quotes"
start_urls =
[
'/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield
{
'内容': quote.css('span.text::text').extract_first(),
'作者': quote.xpath('span/small/text()').extract_first(),
}
next_page = response.css('li.next a::attr("href")').extract_first()
if next_page is
not
None:
yield scrapy.Request(next_page,
self.parse)
然后我们在终端里输入这段命令
scrapy runspider Test1.py -o mingyan.json
运行成功后看一下你的终端是不是有这样的数据
并且你的当前文件夹下面会生成一个mingyan.json文件,虽然里面的文件是unicode编码,但是稍加调整就可以显示正常
好了,能成功运行这个例子你就已经迈出了第一步,主要是把环境搭好,后面好方便写更高级的代码
最后,关注一波吧
如果觉得《pycharm安装scrapy失败_Scrapy ——环境搭配与一个简单的例子》对你有帮助,请点赞、收藏,并留下你的观点哦!