在使用sparksql时出现spark欢迎界面并且报错 Accept timed out和 Python worker failed to connect back
·
一.问题描述
在PyCharm使用sqarksql的时候遇到了一个错误，首先第一个特征：
他会首先打印welcome to spark页面，但我并没有开启虚拟机，而且是本地模式所以并不该有这个页面。
然后报一个非常长的错误：
该错误两个主要的描述为
Caused by: java.net.SocketTimeoutException: Accept timed out
Caused by: org.apache.spark.SparkException: Python worker failed to connect back：
二.解决
非常的棘手，而且错误并没有过多的有用信息描述，在网上也没有找到相关问题。
只能是一步步的的尝试试错，寻找问题。
而在对每一步进行调试更改后发现：
问题居然是import导致的：
是因为之前使用时导入的依赖没有删除：
导致了跟我自己在代码里的spark，sc起了冲突。也就是说这两个现象：
1.出现spark欢迎页面
2.报一大堆错误
都是由于依赖不用后却没有删除导致与代码里的内容冲突导致的。
最终在删除了不用的灰色依赖后果然spark的欢迎界面和报错都没有了。
只能说是跟报错八竿子打不着，纯粹是一点一点试错最终排除完所有可能性才找的，遂记录下来，希望能对大家有所帮助。
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
20
0- 0
已为社区贡献2条内容
所有评论(0)