hadoop常见错误即解决方法

吉佳

　　例如：
　　NameNode和DataNode的namespaceID不一致，这个错误是很多人在安装时会遇到的，日志信息为：
　　java.io.IOException: Incompatible namespaceIDs in/root/tmp/dfs/data:
　　NameNode namespaceID = 1307672299; DataNode namespaceID =389959598
　　若HDFS一直没有启动，读者可以查询日志，并通过日志进行分析，以上提示信息显示了NameNode和DataNode的namespaceID不一致。
　　这个问题一般是由于两次或两次以上的格式化NameNode造成的，有两种方法可以解决，第一种方法是删除DataNode的所有资料（及将集群中每个datanode的/hdfs/data/current中的VERSION删掉，然后执行hadoopnamenode-format重启集群，错误消失。）；第二种方法是修改每个DataNode的namespaceID（位于/hdfs/data/current/VERSION文件中）或修改NameNode的namespaceID（位于/hdfs/name/current/VERSION文件中），使其一致。
　　下面这两种方法在实际应用中也可能会用到。
　　1）重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时，一般不必重启整个系统，只须重启这个节点，它会自动连入整个集群。
　　在坏死的节点上输入如下命令即可：
　　bin/Hadoop-daemon.sh start DataNode
　　bin/Hadoop-daemon.sh start jobtracker
　　2） 动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。
　　bin/Hadoop-daemon.sh --config ./conf startDataNode
　　bin/Hadoop-daemon.sh --config ./conf start tasktracker
　　9.强行关机或hadoop意外中断会出现这种错误:
　　not start task tracker because java.io.IOException: Failed to set permissions o
　　f path: \app\hadoop\tmp\mapred\local\ttprivate to 0700
　　source name ugi already exists
　　重新格式化也不行，总是提示 Re-format filesystem in
　　删除hadoop节点的data临时目录，就是core-site.xml的hadoop.tmp.dir配置的那个系统文件目录, 注意，不是hdfs的那个目录（hls -ls 看到的那个目录），必须是操作系统直接看到的那个临时目录。然后重新格式化就可以解决问题。
　　10. 错误：Format aborted in /usr/local/hadoop/hdfsconf/name，启动后发现发现http://das0:5007无法显示。
　　将/data0/hadoop-name文件夹整个删除。然后再格，成功！！！
在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在。Hadoop这样做的目的是防止错误地将已存在的集群格式化了