Hadoop大数据实践-天气分析预测系统，Hadoop大数据技术综合实验：网站访问日志采集、处理及分析

uyuy34

1615人浏览 · 2023-05-25 16:58:07

uyuy34 · 2023-05-25 16:58:07 发布

考查机试试题

课程：Hadoop大数据实践

阶段：大二

院校名称：

考试日期：

准考证号：

姓名：

注意：

考试时间2小时，总分100分；
考试结束试卷必须交回，不交回试卷者成绩无效。

题目：使用Hadoop实现天气数据的统计

语言和环境

环境要求：Java 8、IDEA、MySQL。
使用技术：Hadoop、MapReduce

实现功能

本系统要求对天气的数据（CSV格式）进行分析统计，具体实现功能如下：

在虚拟机中搭建一个由一个Hadoop伪分布式环境（将hostname中的主机名改为自己姓名的拼音）。Java信息如图1.1所示，启动后的进程如图1.2所示

图1.1 主机名和java版本信息

图1.2 Hadoop开发环境启动后的进程信息

使用Hadoop Shell将天气信息上传到HDFS文件系统上
在数据库中创建表

1）weather_month表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(月份)
ZGQW	Int	NOT NULL	平均最高气温
ZDQW	Int	NOT NULL	平均最低气温
SD	nchar（5）	NULL	平均湿度

weather_month_TQ表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(月份)
TQ_Type	Int	NOT NULL	天气类型（例如：晴转天云）
TQ_Count	Int	NOT NULL	某类型天气数量

weather_month_KQZL表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(月份)
KQZL_Type	Int	NOT NULL	质量类型
KQZL_Count	Int	NOT NULL	某质量类型数量

weather_month_ZWXQD表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(月份)
ZWXQD_Type	Int	NOT NULL	类型（例如：中度）
ZWXQD_Count	Int	NOT NULL	某类型数量

weather_year表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(年)
ZGQW	Int	NOT NULL	平均最高气温
ZDQW	Int	NOT NULL	平均最低气温
SD	nchar（5）	NULL	平均湿度

weather_year_TQ表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(年)
TQ_Type	Int	NOT NULL	天气类型（例如：晴转天云）
TQ_Count	Int	NOT NULL	某类型天气数量

weather_year_KQZL表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(年)
KQZL_Type	Int	NOT NULL	质量类型
KQZL_Count	Int	NOT NULL	某质量类型数量

weather_year_ZWXQD表

City	Char()	NOT NULL	城市
Time	Int	NOT NULL	时间(月份)
ZWXQD_Type	Int	NOT NULL	类型（例如：中度）

编写MapReduce程序，并提交到Hadoop的Yarn框架执行，统计每月和每年的平均最高温、平均最低温、平均湿度以及每月和每年的每种天气出现的次数、每月和每年的每种空气质量出现的次数和每月和每年的每种紫外线强度出现的次数，并写入MySQL数据库。

评分

步骤	评分项	分值	分数
1	主机名配置成功	5
	JDK安装成功	10
	Hadoop伪分布式环境安装成功	15

天工造物局

北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台

更多推荐

deck.gl TripsLayer 出租车轨迹动画示例实战：从示例运行到着色器原理

TripsLayer 是 deck.gl 中用于渲染**随时间流动的轨迹动画**（如出租车行程、物流路径、迁徙路线）的核心图层。本文以仓库中的最小独立示例 [examples/website/trips](https://link.gitcode.com/i/1442af8f442f4cff39ff546e050fceb5) 为骨架，带你完成从安装依赖、启动应用、理解曼哈顿出租车数据格式，到深入

天工造物局

Foundry Anvil 中 eth_simulateV1 的 Blob 交易与 Blob Gas 字段规范化：原理、实现与测试验证

本篇技术指南以 [anvil-simulate-blob-transactions.md](https://link.gitcode.com/i/3d2ebe227262de169335eb290af80da8) 这条 changelog 条目为起点，深入剖析 Foundry Anvil 对 `eth_simulateV1` RPC 返回结果中 blob（EIP-4844）交易与 blob gas

天工造物局

LMCache CLI 实战：用 `lmcache kvcache clear` 管理运行中服务的 KV Cache 状态

本文是一份针对 LMCache 官方 CLI 命令 `lmcache kvcache` 的完整技术指南。该命令用于在**运行中的 LMCache 服务（MP HTTP server）**上管理 KV cache 状态，当前提供 `clear` 子命令，用于清空 L1（CPU 内存）层中缓存的全部 KV 数据。读完本文，你将掌握该命令的完整参数体系、退出码语义、终端/JSON/静默三种输出模式，并能