Hadoop Error Log

jqkyp

　　1. 《Hadoop实战》书中错误，运行WordCount例程的代码应为：
　　javac -classpath hadoop-core-1.2.1.jar:lib/commons-cli-1.2.jar -d FirstJar WordCount.java
　　


　　2.

bin/hadoop jar WordCount.jar WordCount input output
　　
　　Exception in thread "main" java.lang.ClassNotFoundException: WordCount
　　WordCount类的包没有找到，在类前面加上包的名字即可。
　　

bin/hadoop jar WordCount.jar org.apache.hadoop.examples.WordCount input output


　　
　　
　　3. Error launching job , Output path already exists : Output directory hdfs://localhost:9000/user/dark_linux/output already exists
　　output的文件夹已经存在。换一个output的位置或者删除原文件夹


　　4. start-all 的时候，遇到权限问题。
　　


　　5. start-all 之后，所有的值都是0. 容量大小为0
　　再注意一下配置文件，配置不正确。
　　


　　6. 重启后，start-all, namenode启动不了，需要再次格式化之后才能启动
　　这是因为，默认hadoop的数据块是放在/tmp下的。而每次重启后，/tmp下的数据被清空。所以namenode就启动不起来了（应该是这样的）
　　所以要继续修改配置，编辑conf/core-site.xml
　　增加：
　　

<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop-1.2.1/tmp</value>
</property>
　　7. hosts
　　hosts文件包含了ip地址与主机名之间的映射，还包括主机的别名。在没有域名解析服务器的情况下，系统上的所有网络程序都通过查询该文件来解析对应于某个主机名的ip地址。


　　优先级 ： dns缓存 > hosts > dns服务


　　ip地址   主机名/域名   （主机别名）


　　http://soft.zdnet.com.cn/software_zone/2007/0831/481970.shtml
　　


　　8. nutch 在hadoop上进行抓取时，injector map 100%之后，reduce一直处于0%

网上的说法是，可能是reduce去找map的结果找不到，要check一下/etc/hosts的设置是否正确。
　　然后我之前是集群环境，所以hosts里面都改掉了。这次运行是在伪分布式下运行，此时，hosts及hostname要改回来。
　　


　　9. safe mode is on
　　hadoop 的安全模式主要是在启动hadoop会进入，主要是系统检查每个datanode，保证数据块的有效性，并根据预定的策略进行必要的操作，例如备份。此时系统中的数据我们无法进行操作。
　　这种情况下，要不等一会，要不就输入如下指令直接离开安全模式
　　

hadoop dfsadmin -safemode leave

10. 在&#26684;式化namenode时，报错，The directory is already locked.
　　说明还有hadoop服务未关闭就进行format了，所以解决办法就是先stop-all.sh关闭所有hadoop服务先。（或者直接注销吧...）
　　


　　11. 配置master为namenode的同时，也成为datanode
　　只要在hadoop的conf/slaves中，加入master的主机名即可。（记得同步到其他slave的机器中）
　　


　　！12. 启动hadoop之后，查看hdfs，发现datanode没有启动起来。
　　查看datanode上的log，说是no route to host。
　　网上的说法都是关防火墙，但是我们的机子们都没有装防火墙。
　　后来发现是配置/etc/hosts的问题，其中127.0.1.1 master 这行应该删掉，就好了。
　　（但是还是不知道为什么会造成这样的错误）
　　


　　


　　


　　



版权声明：本文为博主原创文章，未经博主允许不得转载。