上一节我们已经搭建了一台基本的ubuntu服务器作为hadoop使用。接下来,我们要开始搭建hadoop集群环境。

一、设置静态IP

    这个不用多说了,使用DHCP分配IP地址,你每次启动,会发现IP都不一样,很蛋疼,所以我们要设置静态IP地址。

1、启动虚拟机

   先不用xshell连接,直接用root账号登陆。

2、修改netplan

    Ubuntu 18.04开始,使用这种方式来设置网络。配置文件存储在/etc/netplan中。

    输入 vim /etc/netplan/50-cloud-init.yaml  (如果你找不到这个文件,那么先输入netplan generate生成一个。大部分人都有)

    然后修改IP地址为192.168.56.101 如图:

   

    这个原理具体我就不说了,有兴趣自己去看这个netplan的玩法。

    然后执行 netplan apply

    然后ifconfig,看一下IP地址

    OK,IP地址已经修改完毕。

    接下来就可以用SSH登陆了。

3、关闭防火墙

     其实ubuntu的防火墙已经很好了,很多情况没有必要关闭。但是害怕万一,我们还是关掉吧。反正host-only方式,也没人能访问你的虚拟机(一般家里的宽带,也没有黑客对你感兴趣)

    执行命令  ufw disable 结果如下:(这和Redhet系的防火墙关闭方式很大不同)

    同时ubuntu 默认是没有iptable的,所以不用关。

4、修改hostname设置

    ubuntu18.04不能随便修改hostname,修改了重启后又恢复了。所以要改一下:

    vim /etc/cloud/cloud.cfg

    修改preserve_hostname : true(原本为false)

 

二、安装java

    这个我实在不想写了,但还是写一下吧。我使用的版本是java 8。去oracle官网下一个。如图:

    记住不要下载rpm版,ubuntu不用这种方式安装。直接下载tar包。

    然后用Xftp传到虚拟机里,接着解压到 /usr/local里(看个人习惯吧,我喜欢放在这里)

   执行命令 :

    mv jdk-8u191-linux-x64.tar.gz /usr/local/

    cd /usr/local/

    tar zxvf jdk-8u191-linux-x64.tar.gz

    然后重命名:

    mv mv jdk1.8.0_191 jdk1.8

    删除tar包。

    然后vim /etc/profile 修改如下:

   

    接着source /etc/profile使之生效,然后测试一下,如图:

   

三、复制虚拟机

    其实这一步可以等到hadoop配置好之后再做,不过我们最好现在做,免得配置hadoop出现失败,则可以复制虚拟机重新配置。

    上一篇我们讲到搭建一个5台服务器集群的hadoop。所以我们复制6份,一份留作原始备份用。8G内存复制4份就可以。

1、关闭刚才的虚拟机

2、右键点击虚拟机,选择复制,如图

3、 修改名称,勾上重置所有mac地址,如图

 4、完全复制选择,然后复制,如图

5、重复5次。

6、完成 

四、整理虚拟机

1、修改IP地址。

    这一步,为每台复制出来的虚拟机,重新设置静态IP地址。参考上面的大标题一、修改netplan。

    自行修改即可。

2、修改hostname

    为每一台虚拟机修改hostname。

    使用命令修改,不要自己随便去改文件!(大神无视我这句话)

    执行命令: hostnamectl set-hostname hadoop0x (x为你的虚拟机数字)

    最终整理出来的结果为:

    hadoop01 : 192.168.56.101

    hadoop02 : 192.168.56.102

    hadoop03 : 192.168.56.103

    hadoop04 : 192.168.56.104

    hadoop05 : 192.168.56.105

3、修改hosts文件

    先说一个坑!如果你的hostname设置成hadoop_01类似于这种下划线(很多公司喜欢这样)那么将会碰到一个巨大无比的坑!hadoop启动的时候会有莫名其妙的问题。详情我就不说了,总之不要这么设置就好了。

    执行命令 vim /etc/hosts

    将上面整理出来的ip和hosts添加进去。这样

   

    然后使用scp发送到每一台电脑,执行命令

    scp /etc/hosts root@hadoop02:/etc/

    ……

4、配置免密登陆。

    首先 在每台机器上执行命令:

    ssh-keygen -t rsa 

    然后一直回车即可。不用输入任何东西。结果如下:

   

    然后在每台机器上执行

    ssh-copy-id hadoop01

    ssh-copy-id hadoop02

    ssh-copy-id hadoop03

    ssh-copy-id hadoop04

    ssh-copy-id hadoop05

    别忘了ssh自己也要的。

    这一部有点麻烦,运维的同学可能知道更好的办法,快速为所有机器建立免密登陆。我的水平就比较烂,只能手动了。

    最后使用ssh hadoop02测试一下每一台机器的免密登陆是否成功。

    到这里,hadoop的集群服务器环境基本搭建完成,下一节继续开始搭建hadoop。

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐