• 官方文档:下载Scrapy
  • 如果你的系统是MacOS或者Linux,不小心点进来了,请直接移步官方文档
  • 如果你使用的是Anaconda:
  • 若是Windows环境使用pip安装,请往下看

Scrapy安装

在终端中输入以下pip命令,安装它们

python -m pip install scrapy

它还会自动安装以下依赖包:

  • lxml,高效的XML和HTML解析器
  • parsel,在lxml之上编写的HTML / XML数据提取库
  • w3lib,用于处理URL和网页编码的多功能帮助器
  • twisted,异步网络框架
  • cryptography 和 pyOpenSSL,以处理各种网络级别的安全需求

VSCode搭建虚拟环境中安装Scrapy

官方文档中推荐使用虚拟环境安装Scrapy,虚拟环境使您不会与已经安装的Python系统软件包冲突

安装问题:error: Microsoft Visual C++ 14.0 is required.

当安装到twisted包时,很可能会以下问题提示:

error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”:https://visualstudio.microsoft.com/downloads/

意思说我们电脑缺少Microsoft Visual C++ 14.0,但是通过它给的网页链接,打开后发现没找到Microsoft Visual C++ Build Tools啊,干他呀的,

重新使用pip命令即可

python -m pip install scrapy

它会在原本断掉的位置继续下载安装

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐