本系统基于Hadoop设计开发一个疫情分析系统,该系统的主要功能分为疫情数据采集与存储、疫情数据分析、疫情数据可视化。通过收集和爬虫方式获取疫情数据并通过Flume传输;利用Hadoop的HDFS系统对数据进行存储,借助高可用的Hadoop集群保障数据安全,运用Hive对其统计分析;将分析结果和数据通过Sqoop传输至MySQL,采用SpringBoot进行后端搭建并通过ECharts图形库在前端用Vue框架实现数据可视化,将疫情信息图表化显示。

技术:

1.数据采集

通过网络收集历史数据+爬虫获取实时数据(丁香医生)+Flume采集到

2.数据存储

HDFS

3.数据分析

Hive

4.数据可视化

将分析数据通过sqoop传输到MySQL,通过spring boot和vue进行可视化展示。

前端实现部分展示:

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐