【题目】

2、 对于数据集字段缺失情况，通常可以采用填充默认值、均值、众数、KNN 填充、以及把缺失值作为新的 label 等方式处理。同时，不当的填充可能会令后续的分析结果出现导向性偏差，当缺失信息较少时可采用删除的方式来进行处理。下面请根据题目具体参数要求处理关键字段缺失，截图并保存结果。
详细描述：
       数据源使用 HDFS 文件系统中的 hoteldata.csv，请编写 Spark 程序，按照如下要求实现对数据的清洗，并将结果输出至 HDFS 文件系统中/hotelsparktask2。

  1. 解析 hoteldata.csv；
  2. 将关键字段{星级、评论数、评分}中任意字段为空的数据删除；
  3. 程 序 打 包 并 在 Spark 上 运 行 ，结 果 输 出 至 HDFS 文 件 系 统 中/hotelsparktask2。

具体任务要求：

  1. 运行代码，将字段{星级、评论数、评分}中任意字段为空的数据删除，并打印输出删除条目数，将打印输出结果截图并保存（截图需包含打印语句输出结果的上下各 5 行运行日志）；
  2. 使用 Hadoop shell 命令查看清洗后输出的结果文件/hotelsparktask2 总行数，将运行结果截图并保存。

【答案】

1、运行代码，将字段{星级、评论数、评分}中任意字段为空的数据删除，并打印输出删除条目数，将打印输出结果截图并保存（截图需包含打印语句输出结果的上下各5 行运行日志）；（1 分）
参考答案截图：每个红框区域结果一致得 0.5 分； （两个红框共 1 分 ）


2、使用 Hadoop shell 命令查看清洗后输出的结果文件/hotelsparktask2 总行数，将运行结果截图并保存。（1 分）
参考答案截图：红框区域结果一致得 1 分；

# 数据分析
Logo
天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

graphify 视频音视频转写全流程解析：从 detect 结果到知识图谱文档的 Step 2.5

graphify 的核心能力是把任意语料（代码、文档、PDF、图片）转化为可查询的知识图谱，而视频与音频文件无法被直接阅读，必须先把它们转写成文本。本文围绕 `graphify` 运行手册中的转写参考文档 [transcribe.md](https://link.gitcode.com/i/d3285781588e0f1b84886dfdbc4fe7f6)，完整讲解 "Step 2.5 - Tra

avatar 天工造物局

ML-For-Beginners 终章：经典机器学习在金融、医疗、零售等八大行业中的真实落地场景

本篇技术指南基于开源课程仓库 ML-For-Beginners 的收尾课程《Postscript: Machine learning in the real world》（对应仓库目录 [9-Real-World/1-Applications](https://link.gitcode.com/i/6b23002df80861c20abf34d7db63ef41)）编写。该课此前 11 周的教学带

avatar 天工造物局

graphify 知识图谱查询实战：query / path / explain 与可审计的答案闭环

本指南以 graphify 的 Trae 版查询技能参考（[graphify/skills/trae/references/query.md](https://link.gitcode.com/i/72a7875d46ec6d3706d31791f3cdcbe0)）为主体，系统讲解如何针对**已构建好的知识图谱**执行三类查询：语义相关节点遍历（query）、两概念间最短路径（path）、单节点关

avatar 天工造物局