hadoop配置安装
[*] 必备软件
这里以Hadoop 1.1.2为学习的版本。
[*] jdk-6u24-linux-i586.bin
[*] hadoop-1.1.2.tar
[*] hbase-0.94.7-security.tar
[*] hive-0.9.0.tar
[*] sqoop-1.4.3.bin__hadoop-1.0.0.tar
[*] zookeeper-3.4.5.tar
2. 安装步骤
linux系统环境配置，jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html
在此只列出配置文件。
/etc/profile
export JAVA_HOME=/usr/jdk1.6
export> export HADOOP_HOME=/usr/hadoop-1.1.2
export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH"
$HADOOP_HOME/conf
添加节点：
大致步骤：
1)、在新节点安装好hadoop；
2)、把namenode的有关配置文件复制到该节点；
3)、修改master和slaves文件，增加该节点；
4)、设置ssh免密码进出该节点；
5)、单独启动该节点上的datanode和tasktracker(hadoop-daemon.sh start tasktracker/datanode)；
6)、运行start-balancer.sh进行数据负载均衡。
3.运行mapreduce程序wordcount
参考http://blog.csdn.net/yutianzuijin/article/details/9457431
javac -classpath /usr/hadoop-1.1.2/hadoop-core-1.1.2.jar:/u
sr/hadoop-1.1.2/lib/commons-cli-1.2.jar WordCount.java -d>Hadoop异常：Bad connect ack with firstBadLink
参考http://flypig.iteye.com/blog/1276554
eclipse打包问题
http://www.aboutyun.com/thread-7086-1-1.html
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
at java.net.URLClassLoader$1.run(URLClassLoader.java:200)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:252)
at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:320)
参考http://www.aboutyun.com/thread-7086-1-1.html
这个坑爹的版本，老是报错。终于解决了。
eclipse不能导出jar文件，需要先运行一次main方法，不管对错，然后导出Runnable jar file。虽然有冗余但不会报错。
程序运行代码
hadoop -jar /usr/demo/WordCount.jar hdfs://192.168.126.131:9000/zg/input hdfs://192.168.126.131:9000/zg/output
各种曲折磨难，终于跑通wordcount了。自我庆祝一下。
页:
[1]