Hadoop 常见问题

yes-no

　　
　　操作系统环境：Ubuntu 10.10

　　Last Update 2011-4-18 15:47:10

　　
　　1.WARN mapred.JobClient: Error reading task output ******
　　2.INFO mapred.JobClient: Task Id : attempt_201104051702_0010_m_000010_2, Status : FAILED


  Too many fetch-failures　　3.INFO ipc.Client: Retrying connect to server: [domain:port]. Already tried X time(s).

　　检查datanode 是否启动，端口是否冲突，防火墙规则等；  

　　重新格式化DFS；
　　
  重新启动（也许可以一试）；  
　　4.Input path does not exist

　　输入正确的路径 或者检查 dfs

　　5.ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.net.UnknownHostException: XXXXX

　　ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.net.UnknownHostException:  
　　【问题描述】在master上启动集群的时候，发现slave上的datanode或者tasktracker进程没有启动
　　【疑问】在slaves配置文件中，用的都是ip地址，为何要换成主机名？解析的过程是怎样的呢？

　　【注意】hostname 显示主机名 ;修改/etc/hosts 确保主机名能够解析

　　
6.Name node is in safe mode.The ratio of reported blocks 0.6985 has not reached the threshold 0.9990. Safe mode will be turned off automatically.　　【命令】 bin/hadoop dfsadmin -safemode leave    离开安全模式

　　【为何会有安全模式】检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块