失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > python windows 安装scrapy_Python Scrapy在windows上的安装方法

python windows 安装scrapy_Python Scrapy在windows上的安装方法

时间:2019-12-10 09:22:24

相关推荐

python windows 安装scrapy_Python Scrapy在windows上的安装方法

如果想要学习爬虫,肯定会了解Scrapy,但安装Scrapy的方法相对于安装其他第三方库麻烦一点。

下面总结一下在我的电脑上安装Scrapy的方法,我的电脑是Windows10,32位操作系统。有如下几个步骤:

1. 安装 Microsoft Visual C++ Build Tools,可以从/downloads/获取,得到这样一个exe文件,双击即可下载文件进行安装。记得勾选Visual C++生成工具选项。

如果不安装,后续安装twisted会报以下错误:

2. 安装pywin32,这个库必须使用.exe安装包来进行安装,利用pip容易出现安装出错。从/projects/pywin32/下载跟操作系统匹配的安装包。

3. 利用pip安装twisted。Twisted是Python中一个非常重要的基于事件驱动的异步输入/输出引擎,它的安装依赖于pywin32和Visual C++ Build Tools。

pip install twisted

4. 利用pip安装Scrapy

pip install Scrapy

在上面过程中,通过exe安装pywin32是没办法指定安装位置的,所以pywin32只能安装到系统的python环境中。由于twisted和scrapy的安装,会附带安装大量的依赖库,这些依赖库仅在使用Scrapy时

才用到,因此,在第3步之前利用如下命令用virtualenv创建一个Python虚拟环境,将twisted和scrapy安装到虚拟环境中:

virtualenv --always-copy --system-site-packages spider

如果觉得《python windows 安装scrapy_Python Scrapy在windows上的安装方法》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。