非 正 常 环 境

操作方法:
1、下载并解压spark内容
2、以挂载的卷作为中转将spark文件复制到目标目录
3、启动jupyter,在代码中加入

import os os.environ["SPARK_HOME"] = "/usr/lib/spark" (换成上面的目标目录) 
运行jupyter时执行一下上面的语句就行了。不过似乎在jupyter设置一次就行。关了也能用。

这样做的原因是本机端操作 改 etc/profile不知为啥行不通,所以干脆在jupyter里改了吧。

4、设置了spark_home,用findspark就行了。

 

PS:在试验的过程中发现pip install spark也行,但版本是3.0.1的。有兴趣的人可以研究下和普通方式的区别?

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐