大数据单机学习环境搭建(11)Azkaban单机部署
专题:大数据单机学习环境搭建和使用
大数据单机学习环境搭建(11)Azkaban单机部署
欢迎白嫖 azkaban-solo-server.tar.gz
azkaban-solo-server免费下载
百度网盘个人分享资源
下载后直接跳到文章 第四部分 安装即可直接使用。
一.Azkaban的介绍文档
Azkaban介绍文档:在 3.0 版本之后,提供了两种模式:独立的“solo-server”模式和分布式多执行器模式。
1.1安装包创建的“劝退”步骤
文档中提供的克隆git clone https://github.com/azkaban/azkaban.git和 编译./gradlew build installDist 下载会非常慢,容易中断,属于劝退方式,所以通常是本地先下载,再编译创建安装包。

1.2安装包的使用
通过 ./gradlew build installDist 命令创建后生成azkaban-solo-server的tar.gz文件,如azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz。这个安装包解压在其他机器可直接使用。即下方二、三的操作做一次便可生成该压缩文件,压缩文件解压到任何机器都可以直接使用。
按照下方二、三操作之后,azkaban-solo-server 文件生成在/opt/azkaban/azkaban-solo-server/build/distributions路径下,拷贝到任意机器,执行四的操作便启动了azkaban,web端访问 http://nod1:8081/(nod1改成自己机器的ip)即可进行azkaban的使用。
二.下载
2.1Azkaban下载
Azkaban官网下载 页面下拉找到不同版本下载即可

2.2依赖下载
这一步建议在 3.1Azkaban解压安装 之后进行,否则可能不知所云
gradle下载,依赖的下载建议参考/opt/azkaban/gradle/wrapper的gradle-wrapper.properties文件distributionUrl的设置,例如我的使用的3.81.0文件配置如下
所以下载的gradle-4.6-all.zip,具体使用见安装步骤

三.安装
3.1Azkaban解压
1.上传tar.gz到文件/opt目录下,之后的所有操作都会在该目录下进行
2.执行解压操作
tar -zxvf azkaban-3.81.0.tar.gz
3.重命名(个人习惯),结果如下
mv azkaban-3.81.0 azkaban

3.2配置文件
将 2.2 下载的依赖 放在/opt/azkaban/gradle/wrapper文件夹内,并修改该文件夹下gradle-wrapper.properties的distributionUrl参数

3.3创建安装包
如果 3.2的操作,将使用网址下载gradle-4.6-all.zip过程很慢且容易中断

配置了3.2下方过程仍有大量下载非常耗时,不报错就一直等,大约1小时
1.进入azkaban目录下
cd /opt/azkaban
2.执行创建命令等待即可,-x test表示跳过测试
./gradlew build installDist -x test
异常情况处理:多为网络不通畅造成

wget 'https://repo.maven.apache.org/maven2/org/scala-lang/scala-compiler/2.10.0/scala-compiler-2.10.0.jar' 测试可以下载,并无异常。重新执行一次./gradlew build installDist -x test编译正常进行。
再次运行10分钟后成功BUILD SUCCESSFUL

至此,azkaban-solo-server安装包已创建完成,在/opt/azkaban/azkaban-solo-server/build/distributions路径下。
四.开启使用
1.复制 azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz到 /opt 目录下
cp /opt/azkaban/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz /opt
2.进入文件存放路径
cd /opt
3.解压 azkaban-solo-server 安装文件
tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz
改名为 azkaban-solo-server
mv azkaban-solo-server-0.1.0-SNAPSHOT azkaban-solo-server

4.进入azkaban-solo-server 路径
cd azkaban-solo-server/
5.开启azkaban,jps查看是否开启
bin/start-solo.sh

6.打开连接即可使用 azkabanhttp://node1:8081/(将node1改为自己的ip即可)

声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,如有雷同纯属巧合。
更多推荐
所有评论(0)