Scrapy安装教程(Windows)
·
- 推荐自己的专栏:玩一玩爬虫咯
- 官方文档:下载Scrapy
- 如果你的系统是MacOS或者Linux,不小心点进来了,请直接移步官方文档
- 如果你使用的是Anaconda:

- 若是Windows环境使用pip安装,请往下看
Scrapy安装
在终端中输入以下pip命令,安装它们
python -m pip install scrapy
它还会自动安装以下依赖包:
- lxml,高效的XML和HTML解析器
- parsel,在lxml之上编写的HTML / XML数据提取库
- w3lib,用于处理URL和网页编码的多功能帮助器
- twisted,异步网络框架
- cryptography 和 pyOpenSSL,以处理各种网络级别的安全需求
VSCode搭建虚拟环境中安装Scrapy
官方文档中推荐使用虚拟环境安装Scrapy,虚拟环境使您不会与已经安装的Python系统软件包冲突
- 方法一:如果你使用的是Anaconda,虚拟环境正是它的长项
- 方法二:官方提供 See Virtual Environments and Packages on how to create your virtual environment.
- 方法三:因为我使用编辑器是VSCode,它也提供了创建虚拟环境的功能:
请阅读 怎么使用VSCode编写Python代码?(Win10 x64系统) 文章中的目录六:虚拟环境中安装、使用软件包

安装问题:error: Microsoft Visual C++ 14.0 is required.
当安装到twisted包时,很可能会以下问题提示:
error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”:https://visualstudio.microsoft.com/downloads/
意思说我们电脑缺少Microsoft Visual C++ 14.0,但是通过它给的网页链接,打开后发现没找到Microsoft Visual C++ Build Tools啊,干他呀的,
重新使用pip命令即可
python -m pip install scrapy
它会在原本断掉的位置继续下载安装
更多推荐


所有评论(0)