Hadoop 生产环境集群平滑下线节点（datanode/tasktracker or nodemanager）

meikkiie

　　如题，生产环境下可能会碰到下线服务器需求，强制关闭tasktracker or nodemanager影响的只是作业，但强制下线大于HDFS备份数的datanode就有丢数据的风险了。Hadoop提供了平滑下线的工具，本文以2.2版本为例。

一、修改配置(登录集群中任一台服务器，最好直接nn节点吧，以下线datanode为例)

1、添加（或修改）如下配置项到hdfs-site.xml

<property>
<name>dfs.hosts.exclude</name>
<value>dfshosts.exclude</value>
</property>





注：1、value&#20540;(dfshosts.exclude)为文件名，可自定义
2、示例使用相对路径，所以需要手动在hdfs-site.xml统计目录创建该文件。也可使用绝对路径。
2、配置需下线的datanode

1）查看50070页面，找到需下线datanode的注册名字，即下图中node对应&#20540;



2）编辑dfshosts.exclud文件

将node对应&#20540;添加进该文件。


二、执行下线命令

hdfs dfsadmin -refreshNodes


三、状态查看

1、显示正在退役的3个datanode，此时，hadoop复制该datanode block至其他datanode






2、点击“Decommissioning Nodes”可看到执行时间，退役datanode ip，正在复制block数量等信息








3、下图状态其实已退役完全(block 转移结束)，后续hadoop会自动删除datanode上的数据，也可以直接停掉datanode，手动删除数据








附：下线tasktracker or nodemanager(过程与下线datanode类&#20284;，一下列举不同点)

1、添加（或修改）如下配置项到mapred-site.xml

<property>
<name>mapred.hosts.exclude</name>
<value>mrhosts.exclude</value>
</property>

2、执行下线命令

yurm rmadmin -refreshNodes



若没启用yarn，即下线tasktracker时执行：



hadoop mradmin -refreshNodes


　　



版权声明：本文为博主原创文章，未经博主允许不得转载。