关于hadoop中datanode节点不同的dfs.data.dir之间数据均衡问题

　　问题：集群中的存储数据增大，导致datanode的空间都快占满了（以前的dfs.data.dir=/data/hdfs/dfs/data），机器的硬盘监控程序不停的报警 。
　　给每台机器加了一倍的存储硬盘(新的dfs.data.dir=/data/hdfs/dfs/data，/data/hdfs/dfs/data2    新的硬盘挂载在/data/hdfs/dfs/data2)，但是现在的问题来了，以前装数据的那块盘还是满的，仍然在报警，怎么把数据均衡到这两块盘上面 ？？
　　解决：移动其中一个文件夹的数据（其实也就是block）到另外一个文件加 。
　　原理：hdfs中文件的inode文件树信息以及每个文件对应的block信息存储在NN中的，每个block存储在那几台DN机器上是在集群启动时候，由每台datanode根据自身所拥有的block上报上去的。 datanode在启动时候，也是扫描自身dfs.data.dir的各个文件夹下的current（前提是这个目录的VERSION等必要信息文件时存在的，这个目录是合法的）目录，然后将下面存在block信息（有哪些block，存在那个文件夹下）上报到NN （详细参见DataNode的FSDataset代码）。
　　操作：
　　1、停止集群 。
　　2、修改dfs.data.dir的配置 。
　　3、启动集群（先只启动hdfs），该步的目的是：让DataNode去格式化/data/hdfs/dfs/data2，填充其中的一些系统信息文件（例如：current  ，current/VERSION,detach ,storage等）。
　　5、使用http://namenodeAddress:50070/fsck来检查文件系统，并记录下结果，以便与修改后进行fsck比较，看文件系统是否健全 。
　　4、停止集群 。
　　5、进入/data/hdfs/dfs/data/current 目录，将其中一些较大的子文件夹（如果是系统生成的名字一般是subdir**）mv到/data/hdfs/dfs/data2/current 下 。
　　6、启动集群 （先是hdfs，好做检查） 。
　　7、再次执行http://namenodeAddress:50070/fsck命令，将结果与前一次比较，没出问题的话，应该是一样的 。
　　PS：在dev机器上做了相应的实验，做之前将dev的数据文件备份，现在启动dev的集群，已经跑了一段时间，并没有出现问题 。
　　源代码部分：
　　在DataNode中，每个dfs.data.dir的文件夹对应的是一个FSDir类，而其文件下的每一个子文件夹对应一个FSDir ，每次DataNode启动时，会对每一个dfs.data.dir的文件启动一个FSDir对象，让后其在构造函数中会统计该FSDir下存储哪些block ，也既是每个block存在那个文件夹只有在DataNode启动时扫描自己的dfs.data.dir是才知道，这也是本次修改的原理 。
public FSDir(File dir)       throws IOException {      this.dir = dir;      this.children = null;      //文件夹不存在则创建文件夹      //不会覆盖或删除已经存在的文件夹，为手工移动block提供了便利性if (!dir.exists()) {                                                                                                                                                                                                        if (!dir.mkdirs()) {          thrownew IOException("Mkdirs failed to create " +                                 dir.toString());        }      } else {        File[] files = dir.listFiles();        int numChildren = 0;        //自检查文件夹个数（子FSDir的个数）和文件（block个数）for (int>　　其往FSDir中添加block的代码：
/**     * //所作的事情:将在tmp中的block文件以及其meta文件mv(重命名)到current中     * 第一次调用的形式是：先调用 File file = addBlock(b, src, false, false) ，再调用addBlock(b, src, true, true)           * boolean createOk :  是否需要在子FSDir中创建子子FSDir，先不创建的添加，若是不行（子目录存放的block也满了），再允许子目录创建子子目录 。     * boolean resetIdx : 当存储需要在子目录中时候，每次存储完都有一个lastChildIdx表明上次存在哪个文件夹下：设置为true表示下次会在随机选一个，false表示下次还接着上次的来存     */private File addBlock(Block b, File src, boolean createOk,                           boolean resetIdx) throws IOException {      //本层目录未满，这直接将block添加在本目录if (numBlocks < maxBlocksPerDir) {        File dest = new File(dir, b.getBlockName());        File metaData= getMetaFile( src, b );        File newmeta = getMetaFile(dest, b);        if ( ! metaData.renameTo( newmeta ) ||            ! src.renameTo( dest ) ) {          thrownew IOException( "could not move files for " + b +　　
" from tmp to " +                                  dest.getAbsolutePath() );        }        if (DataNode.LOG.isDebugEnabled()) {          DataNode.LOG.debug(&quot;addBlock: Moved &quot; + metaData + &quot; to &quot; + newmeta);          DataNode.LOG.debug("addBlock: Moved " + src + " to " + dest);        }        numBlocks += 1;        return dest;      }      //需要存到子目录下 ，随即从新选择一个开始子目录      //通过这个resetIdx来平均各个子FSDir的存储不均衡 。if (lastChildIdx < 0 && resetIdx) {        //reset so that all children will be checked

　　
lastChildIdx = random.nextInt(children.length);                    }      //从上面随即的lastChildIdx开始找一个能添加if (lastChildIdx >= 0 && children != null) {        //Check if any child-tree has room for a block.for (int i=0; i < children.length; i++) {          int>
　　
File file = children[idx].addBlock(b, src, false, resetIdx);          if (file != null) {            lastChildIdx =>　　//若是没有手工成分，DataNode会一次性建立maxBlocksPerDir个子文件夹 。
　　//maxBlocksPerDir由dfs.datanode.numblocks确定，默认是64 ，含义是每个FSDir中最多存储多少个block ，最多存储多少个子FSDir
if (children == null || children.length == 0) { children = new FSDir[maxBlocksPerDir]; for (int>maxBlocksPerDir由dfs.datanode.numblocks确定，默认是64 ，含义是每个FSDir中最多存储多少个block ，最多存储多少个子FSDir　　贴出以上代码主要是刚开始怕DataNode有一套自己的机制，会把你添加进去的文件(夹)清除掉，或者是把不符合规则的子文件夹（一般的是当建立子文件夹是会一次性建立subdir0--subdir63 这64个文件夹，代码见第二部分代码）清除掉 ，但是后来看过代码后发现也没这些逻辑 。
　　转载：http://music.573114.com/Blog/Html/394B/200880.html
　　附件为hadoop权威指南