Ubuntu 13.10下Hadoop 2.2 安装、配置、编译（伪分布式）

qmya00

　　1、安装JDK。在此不做解说，上篇博文里已介绍过。http://www.iyunv.com/lifeinsmile/p/3578677.html
　　2、配置ssh。
　　ssh服务，用于管理远程Hadoop守护进程。
　　2.1安装ssh server：$sudo apt-get install openssh-server
　　2.2免密码ssh的设置: $ssh-keygen –t rsa  (输入命令后一路回车即可)。
　　2.3设置密钥授权：
　　$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　   　　   $cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　2.4安装完成后，测试运行：$ ssh localhost  (尝试用ssh连接本机，如果不需要输入密码则成功)
　　3、hadoop 2.2.0编译。
　　可参考：http://blog.iyunv.com/cruise_h/article/details/18709969
　　需要注意的是，在进行编译时，一定要进入解压目录，确保当前目录下存在pom.xml，否则编译失败。
　　4、hadoop2.2配置。（编译好的文件夹hadoop-2.2.0放在目录/home/hadoop 下）
　　4.1修改全局环境变量。
　　$sudo gedit /etc/profile　　在文中添加一行：export HADOOP_HOME=/home/hadoop/hadoop-2.2.0
　　4.2修改配置文件。
　　待修改的配置文件存放于/home/haoop/hadoop-2.2.0/etc/hadoop，可将下列代码直接粘贴到相应文件内。
　　文件core-site.xml
　　





fs.defaultFS
hdfs://localhost:9000


hadoop.tmp.dir
/home/hadoop/hadoop-2.2.0/hadoop_tmp


　　文件hdfs-site.xml





dfs.namenode.name.dir
/home/hadoop/namenode


dfs.datanode.data.dir
/home/hadoop/datanode


　　文件mapred-site.xml





mapreduce.framework.name
yarn


　　5、hadoop启动。
　　以下操作均在目录/home/hadoop/hadoop-2.2.0下进行。
　　5.1 格式化namenode:    bin/hdfs namenode -format
　　5.2 启动manager管理并测试。
　　方式一：sbin/yarn-daemon.sh start resourcemanager 　　sbin/yarn-daemon.sh start nodemanager
　　方式二：进入目录sbin，分别执行./start-dfs.sh 与./start-yarn.sh，注意启动顺序
　　jps
　　若启动成功即可在主节点上看到resourceManager与nameNode，在从节点上看到dataNode进程。
　　配置hadoop2.2过程中参考其他博文有http://my.oschina.net/u/179537/blog/189239
　　6、查看各节点信息
　　主节点地址：8088　　查看整个集群节点情况
　　详见http://blog.iyunv.com/zzhongcy/article/details/19912577