hadoop集群的白名单和黑名单示例说明
·
白名单示例说明:
说明
添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。
web浏览器查看添加白名单前:

配置白名单的具体步骤如下:
(1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
[xzc@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[xzc@hadoop102 hadoop]$ touch dfs.hosts
[xzc@hadoop102 hadoop]$ vi dfs.hosts
添加如下主机名称(不添加hadoop105)
hadoop102
hadoop103
hadoop104
(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
(3)配置文件分发
[xzc@hadoop102 hadoop]$ xsync hdfs-site.xml
(5)更新ResourceManager节点
[xzc@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
(6)再次在web浏览器上查看

黑名单示例说明:
说明
在黑名单上面的主机都会被强制退出
web浏览器查看添加黑名单前:

配置黑名单的具体步骤如下:
(1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件
[xzc@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[xzc@hadoop102 hadoop]$ touch dfs.hosts.exclude
[xzc@hadoop102 hadoop]$ vi dfs.hosts.exclude
添加如下主机名称(加入黑名单的节点)(注:白名单和黑名单不能同时出现在同一个节点)
hadoop105
(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性
<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>
(3)刷新NameNode、刷新ResourceManager
[xzc@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
[xzc@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
(4)检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点

(5)5. 等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役。

更多推荐
所有评论(0)