Pyspider框架：

• 多线程处理
• 去重处理
• 错误重试
• 结果监控
• PyQuery提取
• 代码简洁
• WebUI管理
• JavaScript渲染

1 安装

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com pyspider

检验是否安装成功，在CMD下输入 pyspider

报错

错误显示无效的语法，导致这种情况的原因是在更新的python3 中，已经将async 设置为关键字，而pyspider 版本更新缓慢并没有在此处修改，所以导致pyspider 不能正常启动。

解决方法

2 将async 替换为 shark

windows客户端pip安装pyspider完全指南（SyntaxError:invalid syntax、async语法报错、非引用替换关键字、全局查找针对性替换、Pycharm）

用Pycharm打开pyspider这个文件夹

找到这三个文件

将上述三个文件中的 async 替换为 shark 即可

特别注意：

一定要特别注意！！！！

三个文件中，这个文件建议不要用快捷替换

替换好之后，再次检验

CMD命令行输入pyspider all，启动pyspider

启动的时候发现一直卡在result_worker starting

如下图

再次解决

3 修改wsgidav版本

降低版本

# 卸载
pip uninstall wsgidav
# 安装
pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com wsgidav==2.4.1

再次检验

报错

ImportError: cannot import name DispatcherMiddleware错误

4 解决werkzeug版本问题

#卸载
python -m pip uninstall werkzeug
#安装指定版本
pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com werkzeug==0.16.0

再次检验

如果还是一直卡在result_worker starting

5 安装phantomjs

下载，解压

把它放在与python.exe的同一个文件夹中

再次检验

如果还是一直卡在result_worker starting

说明webui没成功启动

6 修改webdav.py文件

在安装包中找到pyspider的资源包，然后找到webui文件里面的webdav.py文件打开，修改第209行即可。

即

修改

'domaincontroller': NeedAuthController(app),

为

'http_authenticator':{
'HTTPAuthenticator':NeedAuthController(app),
},

CMD命令行输入pyspider all，启动pyspider

至此，我终于成功打开

如果还是没成功，可以继续在网上搜索其他解决办法

接下来

打开浏览器，在地址栏输入：http://localhost:5000/

即可打开pyspider的web UI界面

创建项目

create --> Project Name --> Start URL(s) – > create

最后，解决安装pyspider后jupyter启动为空白

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com tornado==4.5.3

pip install tornado --upgrade

https://blog.csdn.net/lly1122334/article/details/103458681