数据清洗技术与应用—Kettle 数据迁移、Kettle 作业
实验题目
Kettle 数据迁移、Kettle 作业
实验目和要求
了解数据迁移的特点
掌握利用 Kettle 进行简单的与数据迁移有关的操作
掌握利用 Kettle 创建作业相关操作
实验步骤
1)数据库环境配置
2)Kettle 数据迁移
3)Kettle 作业
实验内容
MySQL 开发环境安装与配置
1、电脑配置及系统要求配置:内存4G或以上
系统:64 位,win7 或以上(Linux/mac OS 亦可)
2、MySQL介绍
MySql是一个小型的关系数据库管理系统,由于该软件体积小、运行速度快、操作方便等优点,目前被广泛的应用于Web上的中小企业网站的后台数据库中。
3、MySQL安装与使用
登陆 MySQL 官网 www.mysql.com,单击 DOWNLOADS 按钮,进入下载页面, 下载对应操作的版本。
双击下载好的安装文件,即可将其安装到本机计算机上,并在 MySQL 中创建数据表。
Kettle数据迁移
1)在MySQL中建立test数据库,新建表xs,并输入相关数据
2)启动Kettle,新建“转换”,在“输入”列表中选择“表输入”,在“输出”列表中选择“文本文件输出”,并建立两者之间的连接
3) 双击“表输入”图标,选择“新建”按钮,在弹出的“数据库连接”对话框中设置相应的内容,保证数据库连接成功
4)再双击“表输入”图标,输入SQL语句,查询成绩大于80分的学生
5)双击“文本文件输出”图标,设置文件、内容、字段等属性
6)保存文件,运行转换,查看数据迁移
建立一个student表实现数据迁移:


实现控件:

表输入控件中的设定:

实现结果:

结果三、Kettle作业案例
1、把stu1的数据按id同步到stu2,stu2有相同id则数据更新

实现表的创建:

转换控件设计:

转换控件设计:

相关配置:


实现结果:

2、使用作业执行上述操作,并额外在表stu2中添加一条数据,整个作业运行成功后发邮箱提醒。
1)新建一个作业
2)添加上述转换操作

对start进行编辑:


3)发送邮件


最终实现效果:

更多推荐
所有评论(0)