hadoop balance均衡datanode存储不起作用问题分析

sharpds77

　　前段时间因为hadoop集群各datanode空间使用率很不均衡，需要重新balance（主要是有后加入集群的2台机器磁盘空间比较大引起的），在执行如下语句：



bin/start-balancer.sh -threshold 10

　　后，日志输出如下：



Time Stamp               Iteration#  Bytes Already Moved  Bytes Left To Move  Bytes Being Moved
Mar 10, 2014 11:03:40 AM          0                 0 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:41 AM          1                 0 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:42 AM          2               443 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:43 AM          3               443 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:44 AM          4            891.85 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:45 AM          5            891.85 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:46 AM          6            891.85 KB            614.5 GB              20 GB
Mar 10, 2014 11:03:47 AM          7            891.85 KB           614.49 GB              20 GB
Mar 10, 2014 11:03:48 AM          8            891.85 KB           614.49 GB              20 GB
No block has been moved for 5 iterations. Exiting...
Balancing took 10.023 seconds
　　很明显，balancer已经计算出要移动的数据量，但是就是没有移动，这是为什么呢？
　　查看hadoop-mysql-balancer-master.log并没有发现Error或者Warning，那只能去看源码了。
　　原来hadoop balancer在进行转移block的时候是会判断的，具体要求见下面的代码：



/* Decide if it is OK to move the given block from source to target
* A block is a good candidate if
* 1. the block is not in the process of being moved/has not been moved;
* 2. the block does not have a replica on the target;
* 3. doing the move does not reduce the number of racks that the block has
*/
private boolean isGoodBlockCandidate(Source source,
BalancerDatanode target, BalancerBlock block) {
// check if the block is moved or not
if (movedBlocks.contains(block)) {
return false;
}
if (block.isLocatedOnDatanode(target)) {
return false;
}
boolean goodBlock = false;
if (cluster.isOnSameRack(source.getDatanode(), target.getDatanode())) {
// good if source and target are on the same rack
goodBlock = true;
} else {
boolean notOnSameRack = true;
synchronized (block) {
for (BalancerDatanode loc : block.locations) {
if (cluster.isOnSameRack(loc.datanode, target.datanode)) {
notOnSameRack = false;
break;
}
}
}
if (notOnSameRack) {
// good if target is target is not on the same rack as any replica
goodBlock = true;
} else {
// good if source is on the same rack as on of the replicas
for (BalancerDatanode loc : block.locations) {
if (loc != source &&
cluster.isOnSameRack(loc.datanode, source.datanode)) {
goodBlock = true;
break;
}
}
}
}
return goodBlock;
}

　　对照上面的3个要求，逐一排查未移动block的原因：
　　（1）需要移动的block在本次balance的过程中没有被移动过------这条满足；
　　（2）需要移动的block在目标机器上不存在------这条待验证；
　　（3）需要移动的block，在移动后不改变每个机架上block的数量（注意，这是的数量不是总数量，是去重以后的block数量，例如，block的备份数是2，其实是算一个唯一的block）------由于集群在配置的时候没有添加机架感知脚本，所以默认情况下，都在1个机架上，这条满足。
　　那现在就去集群上验证第二条，果不其然，发现很多block在后面加入的2台机器上都已经存在，这还移动个屁啊，那边都已经存在了，所以balancer移动进程就退出了。
　　
　　解决方法：
　　1.使用如下命令



bin/hadoop fs -setRep -R / 2
　　将集群中的block备份数同一设置成你在hdfs-site.xml中




dfs.replication
2

　　配置的备份数，然后重启hadoop集群，等hadoop完成校验blcok以后再balance即可解决问题。