使用hadoop过程中两次datanode无法启动问题

df3

两次datanode无法启动分别发生在虚拟多节点和物理多节点的情况下，但是“病症”是一样的：start-all.sh执行时可以清楚的看到" starting datanode, logging to 。。。。“，也没有凶错； 但是启动完后用jps命令一查，发现没有datanode; 在web中可以发现live datanode为0（total 0, dead 0)； 如果执行stop-all.sh则会发现no datanode to stop。原因分析： 原因多种多样，比如 防火墙，safemode等等，但我这两次均不是这两个常见原因虚拟那次： 是因为之前我使用了hadoop-0.18.3版本，虽然那个版本被stop-all.sh了，但是由于没有重启，datanode的进程ID和空间之类（这里我也说不清，知识有限）的仍在占在内存中，所以运行0.20.1时，新启动的datanode自动占用了原来的内存，这两个版本当然是不行的，这样datanode死了也不奇怪。解决方法很简单，重启。那以后再也没有出过这事了。物理节点那次：我是两个节点，另一台机器的datanode怎么也启不来，不知道什么原因，因为有类似事情经验，所以直接重启，无效。后来我通过查日志文件发现是namespaceID出问题问题了，原来如此：我的本地tmp目录下内容保留了上一次namesapceID。解决很方便，format直前rm -rf tmp呗，然后mkdir tmp，这样就OK了。 当然你没必要每次重启就format，不format就不会出现namesapceID的问题。         版权声明：本文为博主原创文章，未经博主允许不得转载。