Hadoop之机房down机后...

苏泽湛

由于公司机房异常断电，导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后，访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html

提示：
NameNode is still loading. Redirecting to the Startup Progress page.如图：





这个不是错误。因为hadoop启动时，会进入安全模式进行自检，自检完毕就好了。

下面来看看NameNode重启的状态变化：


NameNode启动，集群将处于安全模式。

查看集群的状态：
[hduser@hadoop0 bin]$ hdfs dfsadmin -safemode get
Safe mode is ON



HDFS中任何文件，目录和Block都被表示为一个对象存储在NameNode的内存中。该对象占用150 bytes的内存空间。在NameNode启动的时候，NameNode加载fsimage（Filesystem image：文件meta信息的持久化的检查点）文件到内存中，然后在editlog中执行相应的操作。加载fsimage文件包含文件metadata信息，但是不包含文件块位置的信息。


文件块位置的信息，是在所有DataNode启动的时候扫描本地磁盘，之后，DataNode保存的block信息，然后将这些信息汇报给NameNode，NameNode接收到每个DataNode的块信息汇报后，将接收到的块信息和其所在的DataNode等信息组装成BlockMap，保存在NameNode的内存中。


最后离开安全模式，NameNode正式可用。

在查看集群的状态：
[hduser@hadoop0 bin]$ hdfs dfsadmin -safemode get
Safe mode is OFF


查看NameNode日志：
2015-08-17 10:05:22,298 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode ON, in safe mode extension.
The reported blocks 450638 has reached the threshold 0.9990 of total blocks 450676. The number of live datanodes 5 has reached the minimum number 0. In safe mode extension. Safe mode will be turned off automatically in 9 seconds.
2015-08-17 10:05:25,844 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
2015-08-17 10:05:25,846 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2015-08-17 10:05:32,299 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 727 secs
2015-08-17 10:05:32,299 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode is OFF



因为DataNode向NameNode汇报块信息的进度，当99.9%的block汇报完毕就会离开安全模式。

自检完之后再访问：http://xxx.xxx.xxx.xx:50070/dfshealth.html。会发现有些Block已经无法恢复了。如图：


这些无法恢复的文件，每次访问该页面都会显示在页面上，可以通过如下命令删除这些已经损坏的文件：
./hdfs fsck -delete


也可以通过如下命令查看损坏的文件：
./hdfs fsck /