hadoop添加删除结点和修改备份数

hongmeigui22027

　　原文地址：http://www.iyunv.com/rilley/archive/2012/02/13/2349858.html

一、添加节点
　　1.修改host
  和普通的datanode一样。添加namenode的ip
　　
2.修改namenode的配置文件conf/slaves
  添加新增节点的ip或host
　　
3.在新节点的机器上，启动服务



[iyunv@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[iyunv@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker  
　　
　　4.均衡block



[iyunv@slave-004 hadoop]# ./bin/start-balancer.sh
　　
1）如果不balance，那么cluster会把新的数据都存放在新的node上，这样会降低mapred的工作效率
2）设置平衡阈值，默认是10%，值越低各节点越平衡，但消耗时间也更长



[iyunv@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5
　　3）设置balance的带宽，默认只有1M/s





1
2 　　dfs.balance.bandwidthPerSec  
3 　　1048576  
4 　　  
5 　　　　Specifies the maximum amount of bandwidth that each datanode   
6 　　　　can utilize for the balancing purpose in term of   
7 　　　　the number of bytes per second.   
8 　　
9

　　

　　注意：
1. 必须确保slave的firewall已关闭;
2. 确保新的slave的ip已经添加到master及其他slaves的/etc/hosts中，反之也要将master及其他slave的ip添加到新的slave的/etc/hosts中
　　
　　

二、删除结点
　　
　　1.集群配置
   修改conf/hdfs-site.xml文件





1   
2 　　dfs.hosts.exclude  
3 　　/data/soft/hadoop/conf/excludes  
4 　　Names a file that contains a list of hosts that are   
5 　　not permitted to connect to the namenode.  The full pathname of the   
6 　　file must be specified.  If the value is empty, no hosts are   
7 　　excluded.
8

　　
　　
2确定要下架的机器
dfs.hosts.exclude定义的文件内容为,每个需要下线的机器，一行一个。这个将阻止他们去连接Namenode。如：



slave-003  
slave-004  
　　
　　
3.强制重新加载配置



[iyunv@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes  
　　它会在后台进行Block块的移动
　　
4.关闭节点
等待刚刚的操作结束后，需要下架的机器就可以安全的关闭了。



[iyunv@master hadoop]# ./bin/ hadoop dfsadmin -report  
　　
　　可以查看到现在集群上连接的节点




正在执行Decommission，会显示：
Decommission Status : Decommission in progress  
执行完毕后，会显示：
Decommission Status : Decommissioned  
　　
　　
5.再次编辑excludes文件
一旦完成了机器下架，它们就可以从excludes文件移除了
登录要下架的机器，会发现DataNode进程没有了，但是TaskTracker依然存在，需要手工处理一下
　　

三、修改备份数


之前配置文件中设置的dfs.replication值为n1，运行一段时间后想更改备份数，观察备份数对分布式系统性能的影响，执行命令：

bin/hadoop fs -setrep -R n2 /                                //n2是备份数



直接更改配置文件中的dfs.replication这个参数，不执行上面命令，行不行呢？答案是不行，其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。只能过命令的更改。