hadoop集群配置-2问题汇总

lyl801013

　　对集群配置后会有问题，对问题说明如下：
　　1、测试运行 bin/hadoop jar hadoop-examples-1.1.2.jar wordcount  conf/   /tmp 命令报错
　　ERROR security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /tmp already exists
　　
　　重新指定输出目录,如修改为bin/hadoop jar hadoop-examples-1.1.2.jar wordcount conf/ /tmp/hadoop
　　
　　2、使用hadoop dfsadmin –ls 有警告
　　WARN ipc.Client: Address change detected. Old: xxx New:  xxx
　　
　　/etc/hosts文件内容在启动前后有变动，或者IP与主机名称配置不正确
　　
　　3、一直报
　　hadoop fs -ls
11/11/08 10:59:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 0 time(s).   
11/11/08 10:59:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:8020. Already tried 1 time(s).
　　
　　解决方法：
　　1）hadoop配置   
主要是$HADOOP_HOME/conf/hdfs-site.xml、mapred-site.xml、core-site.xml中的配置是否正确，伪分布式模式可以参考前面的blog，或是网上的文章，一大堆一大堆的。   
2）机器连不通   
如果是分布式的，还要看hadoop客户端机器能不能ping通hdfs机器，注意hdfs的端口号   
3）namenode没有启动   
是否是namenode没有启动，   
$stop-all.sh 如果出现no namenode stop则表示是namenode的问题   
$hadoop namenode -format   
$start-all.sh
　　
　　一般是namenode没有启动造成的
　　
　　4、报错
　　org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
　　查看集群中slavers的datanode日志：
　　WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /home/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxr-x   
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: All directories in dfs.data.dir are invalid.   
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode   
INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG:
　　
　　这个错误是由于datanaode目录的权限导致的，按照提示修改目录权限。再次启动。