目录

一、初步了解ETL ，什么叫ETL🤔

1、E:Extract 抽取数据 💕

2、T:Transform 转换数据💕

3、L:Load 数据加载💕

二、为什么使用ETL工具 ❓❓❓

三、kettle工具的使用💢

1、安装kettle之前，一定要安装jdk💗

2、安装完JDK ，复制jdk的BIN目录路径，并且在“编辑系统环境变量”中，配置环境变量💗

3、配置完环境变量，可以在终端中查看，输入java -version查看版本信息，如果能够输出版本信息，则java环境变量配置成功💗

4、将kettle压缩包解压后 点击spoon.bat 即可开启kettle💗

四、FineBI的介绍🎈

(一、)安装后即可开启服务：

（二、）修改服务占用内存上限:

（三、）创建数据库连接

（四、）进行FineBI操作

---

一、初步了解ETL ，什么叫ETL🤔

1、E:Extract 抽取数据 💕

• 从多种不同的数据源中抽取数据(从不同数据源中抽取数据的方式不一样)

2、T:Transform 转换数据💕

3、L:Load 数据加载💕

• 数据处理 : 数据的拆分, 合并,单位统一.统一逻辑等

• 数据清洗 : 处理异常值,缺失值,重复值 (不破坏数据的客观规律)

• 一般是将数据加载到数据仓库中,但是也可以加载到备份文件或者日志记录中.

• 在开发中,重要的数据信息,我们通常会保存不止一份(数据仓库存储+文件备份)

二、为什么使用ETL工具 ❓❓❓

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

应用于数据库和数据仓库中

三、kettle工具的使用💢

1、安装kettle之前，一定要安装jdk💗

jdk : java 开发工具包 (java开发环境)；

jre : java 运行时环境 (java运行环境)；

jvm : java 虚拟机环境 (java跨平台基础)；

2、安装完JDK ，复制jdk的BIN目录路径，并且在“编辑系统环境变量”中，配置环境变量💗

3、配置完环境变量，可以在终端中查看，输入java -version查看版本信息，如果能够输出版本信息，则java环境变量配置成功💗

4、将kettle压缩包解压后 点击spoon.bat 即可开启kettle💗

接下来我们开始使用kettle：        

（1）：将txt文件抽取到excel中

转换中

文本文件输入-------->Excel输出

（2）：将excel表数据抽取到表中

Excel输入-------->表输出

（3）：将mysql表中的数据插入到另一个表中

表输入-------->表输出

（4）：执行mysql表的插入更新操作

表输入-------->插入/更新

（5）：switch_case条件判断

表输入-------->switch case {1、Excel输出 {2、Excel输出 } }（两个分支）

分别执行，满足条件

（6）：执行sql脚本文件

脚本-------->执行SQL脚本

（7）：windows下执行job任务

新建——>作业

STRAT-------->转换-------->成功

注意：此转换而非新建的”转换“，而是作业左侧栏里的转换

---

四、FineBI的介绍🎈

数据可以帮助我们做什么？？？大家思考一下🤔

    1 、历史数据 --- 离线计算

• 分析已有数据,对于之前发生的事情做分析,找出问题原因

    2、实时数据 --- 实时计算

• 对当下发生的事情进行处理,即时展示数据信息,让企业可以关注实时发展动态

    3、未来数据 --- 机器学习

• 对于未来即将发生的事情进行预测,帮助企业调整发展方向

FineBI的使用场景😎

FineBI在大数据场景中的 使用,一般是我们将数据抽取,转换加载完毕后,满足数据分析要求的数据,或指标,由FineBI进行数据可视化开发

BI开发是大数据开发的下一步

大数据开发的终点,就是BI开发的起点.

开发出来的可视化大屏图表,可以被称为 : 驾驶舱, 仪表盘 , 仪表板.

  可以通过FineBI帮助文档 FineBI帮助文档 (fanruan.com)，进行下载和获取帮助；

(一、)安装后即可开启服务：

1、点击上方链接，即可进入登录界面，设置账号和密码

2、点击内置数据库进入开发页面

（二、）修改服务占用内存上限:

1、打开 FineBI安装目录中的如下文件 finebi.vmoptions，双击用记事本打开

2、-Xmx4096m   将4096修改任意内存，但不能小于2048M

3、改完重启软件生效

（三、）创建数据库连接

1、点击系统管理 >>> 数据库连接管理 >>> 新建数据库

2、选择我们要连接的数据源类型

3、填写连接信息, 测试无误后保存连接

4、新数据库连接保存成功

（四、）进行FineBI操作

一、数据准备添加业务包，连接对应目标字段数据

二、更新业务包

三、创建仪表盘，把对应数据库代入进去，进行图形可视化操作。