大数据-玩转数据-Spark-RDD编程基础-RDD创建（python版）

本章为hadoop+spark+yarn 的pyspark交互式环境。

[root@hadoop1]# cd /home/hadoop/spark/bin
[root@hadoop1 bin]# pyspark

默认本地启动pyspark

一、RDD创建
Spark采用textFile()方法从文件系统中加载数据创建RDD
1、从文件系统中加载数据创建RDD
（1）、从本地文件加载

>>> lines = sc.textFile("file:///home/hadoop/temp/word.txt")
>>> lines.foreach(print)

显示
在这里插入图片描述
Spark提供的SparkContext对象，名称为sc
在pyspark启动时创建的，交互式环境可以直接引用，如独立编程环境，则需通过如下完成SparkContext对象。

from pyspark import SparkConf,SparkCountext
conf = SparkConf().setMaster("local").setAppName("My App")
sc = SparkContext(conf = conf)

（2）、从分布式文件系统HDFS中加载数据

>>> lines = sc.textFile("hdfs://hadoop1:9000/tmp/word.txt")
>>> lines.foreach(print)

显示
在这里插入图片描述
2、通过并行集合创建RDD
可以通过SparkContext的parallelize方法从一个已经存在的集合上创建RDD
在这里插入图片描述

# spark # python # big data
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

graphify 视频音视频转写全流程解析：从 detect 结果到知识图谱文档的 Step 2.5

graphify 的核心能力是把任意语料（代码、文档、PDF、图片）转化为可查询的知识图谱，而视频与音频文件无法被直接阅读，必须先把它们转写成文本。本文围绕 `graphify` 运行手册中的转写参考文档 [transcribe.md](https://link.gitcode.com/i/d3285781588e0f1b84886dfdbc4fe7f6)，完整讲解 "Step 2.5 - Tra

avatar 天工造物局

ML-For-Beginners 终章：经典机器学习在金融、医疗、零售等八大行业中的真实落地场景

本篇技术指南基于开源课程仓库 ML-For-Beginners 的收尾课程《Postscript: Machine learning in the real world》（对应仓库目录 [9-Real-World/1-Applications](https://link.gitcode.com/i/6b23002df80861c20abf34d7db63ef41)）编写。该课此前 11 周的教学带

avatar 天工造物局

graphify 知识图谱查询实战：query / path / explain 与可审计的答案闭环

本指南以 graphify 的 Trae 版查询技能参考（[graphify/skills/trae/references/query.md](https://link.gitcode.com/i/72a7875d46ec6d3706d31791f3cdcbe0)）为主体，系统讲解如何针对**已构建好的知识图谱**执行三类查询：语义相关节点遍历（query）、两概念间最短路径（path）、单节点关

avatar 天工造物局