hadoop集群之添加撤销datanode节点
一、前言本文基于上篇 http://fire7758.blog.51cto.com/993821/1373790
本文以添加mt-hadoop-data6为例
二、添加节点操作
1）集群配置修改（集群中所有服务器）
更新hosts文件
在集群中所有服务器上修改/etc/hosts，添加新增datanode的主机名
sudo vi /etc/hosts，文件末尾增加如下行：
172.26.10.XXX mt-hadoop-data6
更新datanode-allow-list
在namenode上修改/usr/hadoop/conf/datanode-allow-list，添加新增datanode的主机名
echo mt-hadoop-data6 >> /usr/hadoop/conf/datanode-allow-list
更新slaves
在namenode上修改/usr/hadoop/conf/slaves，添加新增datanode的主机名
echo mt-hadoop-data6 >> /usr/hadoop/conf/slaves
2）安装新节点
在mt-hadoop-data6上操作：
完成上篇第三章第1节 hadoop安装部分的操作（a-g）
3）同步集群配置
ssh hadoop@mt-hadoop-name1
sync-datanode-config.sh
exit
4）启动新datanode节点
hadoop dfsadmin -refreshNodes
hadoop-daemon.sh start datanode
hadoop-daemon.sh start tasktracker
5）验证
查看datanode报告，是否有新增的节点
hadoop dfsadmin -report
网页查看
http://172.26.10.140:50030
三、撤销节点
在namenode上操作
1)更新datanode-deny-list；添加撤销datanode的主机名
echo mt-hadoop-data6 >> /usr/hadoop/conf/datanode-deny-list
同步配置
sync-datanode-config.sh
2)动态刷新配置
hadoop dfsadmin -refreshNodes
3)确认待撤销datanode状态
hadoop dfsadmin -report
该datanode的状态为Decommissioned可执行下面操作
4)更新datanode-allow-list、datanode-deny-list、slaves；删除撤销datanode的主机名
sed -i '/mt-hadoop-data6/d' /usr/hadoop/conf/datanode-allow-list
sed -i '/mt-hadoop-data6/d' /usr/hadoop/conf/datanode-dent-list
sed -i '/mt-hadoop-data6/d' /usr/hadoop/conf/slaves
sync-datanode-config.sh
5)动态刷新配置
hadoop dfsadmin -refreshNodes
页:
[1]