hadoop 常见错误

heshao2005

　　1：call to localhost/127.0.01:9000  failed on connection exception:java.net.exception:拒绝连接




解决方法：

使用jpshadoop进程查看工具发现NameNode进程没有正确运行。停止服务后，重新格式化namenode，

hadoop namenode -format

start-all.sh，NameNode进程已运行，问题解决



补充知识：

jps位于jdk的bin目录下，其作用是显示当前系统的java进程情况，及其id号。

jps相当于Solaris进程工具ps。不象"pgrep java"或"ps -ef grep java"，jps并不使用应用程序名来查找JVM实例。因此，它查找所有的Java应用程序，包括即使没有使用java执行体的那种（例如，定制的启动 器）。另外，jps仅查找当前用户的Java进程，而不是当前系统中的所有进程

2：


13/03/18 15:57:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/03/18 15:57:05 INFO compress.CodecPool: Got brand-new compressor
　　解决方法：
　　




下面是从其他网站拷贝过来的，先放着，看是否会遇到同类错误

　　1.datanode节点TaskTracker任务启动，但是DataNode任务未启动
　　这一般是由于对hadoop进行升级后导致的，需要删除hadoop.tmp.dir所对应的文件夹，然后再对namenode进行重新格式化，删除之前先将数据导出，要不然数据就没了
　　2./lib/ld-linux.so.2: bad ELF interpreter: 没有那个文件或目录
　　缺少 glibc.i686组件
　　命令：yum install glibc.i686
　　3. hadoop-site.xml:1:1: 文件提前结束
　　hadoop目录下面conf文件夹中多了一个hadoop-site配置文件，在0.20.2版本之前，conf里面有一个 hadoop-site.xml文件，在0.20.0之后的版本 conf下没有这个hadoop-site.xml文件，取而代之的是三个文件，core-site.xml,hdfs-site.xml,mapred.xml
　　解决方法：删除conf文件夹下面的hadoop-site.xml就行
　　4.用eclipse连接集群查看文件信息提示9001端口拒绝连接的错误
　　Cannot connect to the Map/Reduce location: hadoop1.0.3
　　Call to localhost/127.0.0.1:9001 failed on connection exception: java.net.ConnectException: 拒绝连接
　　解决办法：配置都很正常，就是连接不了。后来重新配置hadoop location，把Map/Reduce Master 和 DFS Master中的Host由localhost改成了ip地址（192.168.33.164）,然后问题就解决了。奇怪，localhost不就是本机嘛，而namenode主机（192.168.33.164）也是本机
　　5:远程hadoop
　　本地开发的程序，操作远程hadoop hdfs 文件系统，报错链接不上。



Retrying connect to server: /192.168.1.109:9000. Already tried 0 time(s)
　　解决方法：是服务器上hadoop core-site.xml配置有问题，我的配置写的是localhost。应该改成服务器的IP地址。
　　用netstat 能看到127.0.0.1:9000的端口，但在我本地telnet 192.168.1.109 9000链接不上。
　　改成服务器IP就正确了。