docker下启动jupyter,并跑spark的方法
·
非 正 常 环 境
操作方法:
1、下载并解压spark内容
2、以挂载的卷作为中转将spark文件复制到目标目录
3、启动jupyter,在代码中加入
import os os.environ["SPARK_HOME"] = "/usr/lib/spark" (换成上面的目标目录)
运行jupyter时执行一下上面的语句就行了。不过似乎在jupyter设置一次就行。关了也能用。
这样做的原因是本机端操作 改 etc/profile不知为啥行不通,所以干脆在jupyter里改了吧。
4、设置了spark_home,用findspark就行了。
PS:在试验的过程中发现pip install spark也行,但版本是3.0.1的。有兴趣的人可以研究下和普通方式的区别?
更多推荐
所有评论(0)