一、实验目的：

1、掌握Flume的安装部署以及常用操作

2、掌握Flume的案例操作

二、实验要求：

1、Flume环境安装完成，并进行案例操作

三、实验设备：

Windows电脑一台、VMware虚拟机、WindTerm终端模拟器

四、实验过程及结果：

1 Flume常用操作

1.1 监听目录

监控指定目录，当目录有新增文件时，把文件中的内容一行行发送到控制台

在flume安装目录下的conf文件夹中新建配置文件spool-to-logger.conf

启动Flume Agent

新建一个命令行，新建监听目录

在/home/hadoop/目录下新建文件file.txt，并输入”Hello Flume!”。并把file.txt移动到spooldir目录。

2 Flume案例

2.1 案例：Avro

可以发送一个给定的文件给Flume，Avro 源使用AVRO RPC机制

2.1.1 创建agent配置文件

2.1.2 启动服务 flume agent a1

2.1.3 创建指定文件

2.1.4 使用avro-client发送文件

2.1.5 查看m1的控制台

可以看到以下信息，注意最后一行： hello world

2.2 案例：Spool

监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点：

1. 拷贝到spool目录下的文件不可以再打开编辑

2. spool目录下不可包含相应的子目录

2.2.1 创建agent配置文件

2.2.2 启动服务flume agent a1

2.2.3 追加文件到/home/hadoop/flume/logs目录

2.2.4 在m1的控制台，可以看到以下相关信息：

2.3 案例：Syslogtcp (需要安装nc)

监听TCP的端口做为数据源

2.3.1 创建agent配置文件

2.3.2 启动flume agent a1

2.3.3 测试产生syslog

输入test、hello等字符串，可以在m1的控制台，可以看到输入信息

2.4 案例：JSONHandler

2.4.1 安装curl

2.4.2 创建agent配置文件

2.4.3 启动flume agent a1

2.4.4 生成JSON 格式的POST request

2.4.5 在m1的控制台，可以看到以下信息：

2.5 案例：Hadoop sink(需要安装nc)

2.5.1 创建agent配置文件

2.5.2 启动flume agent a1

2.5.3 测试产生syslog

2.5.4 在m1上再打开一个窗口，去hadoop上检查文件是否生成

2.6 案例：File Roll Sink(需要安装nc)

2.6.1 创建目录

2.6.2 创建agent配置文件

2.6.3 启动flume agent a1

2.6.4 测试产生log

2.6.5 查看/home/hadoop/flume/rolls下是否生成文件,默认每30秒生成一个新文件

2.7 案例：MySql

2.7.1 创建agent配置文件

2.7.2 添加mysql驱动

2.7.3 创建数据库

2.7.4 启动flume agent a1

2.7.5 操作数据库

2.8 案例：文件修改

2.8.1 创建目录

2.8.2 创建agent配置文件

2.8.3 启动flume agent a1

2.8.4 测试产生log

2.8.5 查看数据

五、实验心得

1、通过本次实验，我成功安装配置Flume的环境，并进行了Flume相关案例的操作，还可以通过控制台查看信息。