hadoop配置安装

thinkhk

• 　　必备软件
  

　　这里以Hadoop 1.1.2为学习的版本。

• 　　jdk-6u24-linux-i586.bin
  
• 　　hadoop-1.1.2.tar
  
• 　　hbase-0.94.7-security.tar
  
• 　　hive-0.9.0.tar
  
• 　　sqoop-1.4.3.bin__hadoop-1.0.0.tar
  
• 　　zookeeper-3.4.5.tar
  

　　2. 安装步骤
　　linux系统环境配置，jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
　　在此只列出配置文件。
　　/etc/profile
　　export JAVA_HOME=/usr/jdk1.6

　　export>　　export HADOOP_HOME=/usr/hadoop-1.1.2
　　export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH"
　　$HADOOP_HOME/conf
　　添加节点：
　　大致步骤：
　　1)、在新节点安装好hadoop；
　　2)、把namenode的有关配置文件复制到该节点；
　　3)、修改master和slaves文件，增加该节点；
　　4)、设置ssh免密码进出该节点；
　　5)、单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start tasktracker/datanode)；
　　6)、运行start-balancer.sh进行数据负载均衡。
　　3.运行mapreduce程序wordcount
　　参考http://blog.csdn.net/yutianzuijin/article/details/9457431
　　javac -classpath /usr/hadoop-1.1.2/hadoop-core-1.1.2.jar:/u

　　sr/hadoop-1.1.2/lib/commons-cli-1.2.jar WordCount.java -d>Hadoop异常：Bad connect ack with firstBadLink        
　　参考http://flypig.iteye.com/blog/1276554
　　eclipse打包问题
　　http://www.aboutyun.com/thread-7086-1-1.html
　　Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
　　Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
　　at java.net.URLClassLoader$1.run(URLClassLoader.java:200)
　　at java.security.AccessController.doPrivileged(Native Method)
　　at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
　　at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
　　at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
　　at java.lang.ClassLoader.loadClass(ClassLoader.java:252)
　　at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320)
　　参考http://www.aboutyun.com/thread-7086-1-1.html
　　这个坑爹的版本，老是报错。终于解决了。
　　eclipse不能导出jar文件，需要先运行一次main方法，不管对错，然后导出Runnable jar file。虽然有冗余但不会报错。
　　程序运行代码
　　hadoop -jar /usr/demo/WordCount.jar hdfs://192.168.126.131:9000/zg/input hdfs://192.168.126.131:9000/zg/output
　　各种曲折磨难，终于跑通wordcount了。自我庆祝一下。