hadoop-hdfs启动又自动退出的问题

yuandan

　　hadoop-hdfs启动又自动退出的问题,折腾了我1天时间啊！

日志如下：
2010-05-19 12:47:44,991 INFO  http.HttpServer - Version Jetty/5.1.4
2010-05-19 12:47:44,999 INFO  util.Credential - Checking Resource aliases
2010-05-19 12:47:45,405 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,440 INFO  util.Container - Started WebApplicationContext[/static,/static]
2010-05-19 12:47:45,509 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,510 INFO  util.Container - Started WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,593 INFO  util.Container - Started org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,596 INFO  util.Container - Started WebApplicationContext[/,/]
2010-05-19 12:47:45,598 INFO  http.SocketListener - Started SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,599 INFO  util.Container - Started org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,615 INFO  util.ThreadedServer - Stopping Acceptor ServerSocket[addr=0.0.0.0/0.0.0.0,port=0,localport=50070]
2010-05-19 12:47:45,616 INFO  http.SocketListener - Stopped SocketListener on 0.0.0.0:50070
2010-05-19 12:47:45,616 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@49d67c
2010-05-19 12:47:45,675 INFO  util.Container - Stopped WebApplicationContext[/static,/static]
2010-05-19 12:47:45,676 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@8238f4
2010-05-19 12:47:45,729 INFO  util.Container - Stopped WebApplicationContext[/logs,/logs]
2010-05-19 12:47:45,729 INFO  util.Container - Stopped org.mortbay.jetty.servlet.WebApplicationHandler@110c31
2010-05-19 12:47:45,778 INFO  util.Container - Stopped WebApplicationContext[/,/]
2010-05-19 12:47:45,778 INFO  util.Container - Stopped org.mortbay.jetty.Server@e91f5d
2010-05-19 12:47:45,779 WARN  namenode.FSNamesystem - ReplicationMonitor thread received InterruptedException.java.lang.InterruptedException: sleep interrupted

很莫名其妙的问题，据说是因为双IP的问题，LINUX下要禁止IPV6，可我觉得这个问题开发团队肯定是注意了的，问题不在这里。

经过1天甚至还多的时间折腾，我发现下面的规律：

1、namenode第一次启动，日志显示正常，但是bin/hadoop fs -put 会报错，就是常见的：
DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException:
could only be replicated to 0 nodes, instead of 1

这个问题也可能是防火墙的问题，前面也遇到过。

2、namenode第二次启动（或之后），日志显示就不正常了。就是上面贴出来的，正常启动又自己自动关闭。

3、经过反复测试，发现问题在这里

3.1、每台机器都有名称，job运行的时候会根据主机名获取地址，所以要做DNS解析或者在/etc/hosts里面自己写上。（这个总结题外话，也不知道是否一定准确）

3.2、就是本篇文章要讲的问题：
<property>
        <name>fs.default.name</name>
        <value>hdfs://home0.hadoop:9000</value>
</property>

<property>
        <name>mapred.job.tracker</name>
        <value>home0.hadoop:9001</value>
</property>
这里的home0.hadoop，不要写主机名称，得是域名。经过DNS或者hosts解析的域名。

3.3另外masters里面，我现在也写成了home0.hadoop，没有测试和这个问题是否有关系。