32位LINUX下hadoop2.2.0重新编译及安装步骤

Mrfei

　　第一部分 Hadoop 2.2 下载
　　Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法链接）。
　　下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/
　　如下图所示，下载红色标记部分即可。如果要自行编译则下载src.tar.gz.

　　
　　
　　第二部分 集群环境搭建
　　1、这里我们搭建一个由三台机器组成的集群：
　　192.168.0.1            cloud001       nn/snn/rm        redhat6 32bit
　　192.168.0.2            cloud002        dn/nm             redha6 32bit
　　192.168.0.3            cloud003        dn/nm             redha6 32bit
　　1.1 上面各列分别为IP、user/passwd、hostname、在cluster中充当的角色（namenode, secondary namenode, datanode , resourcemanager, nodemanager）
　　1.2   Hostname可以在/etc/hostname中修改（ubuntu是在这个路径下，redhat稍有不同）
　　1.3  这里我们为每台机器新建了一个账户hduser.这里需要给每个账户分配sudo的权限。（切换到root账户，修改/etc/sudoers文件，增加：hduser  ALL=(ALL) ALL ）
　　2、修改/etc/hosts 文件，增加三台机器的ip和hostname的映射关系
　　192.168.0.1     cloud001
　　192.168.0.2     cloud002
　　192.168.0.3     cloud003
　　3、打通cloud001到cloud002、cloud003的SSH无密码登陆
　　3.1 安装ssh
　　3.2设置local无密码登陆
　　安装完成后会在~目录（当前用户主目录，即这里的/home/hduser）下产生一个隐藏文件夹.ssh（ls  -a 可以查看隐藏文件）。如果没有这个文件，自己新建即可（mkdir .ssh）。
　　具体步骤如下：
　　1、 进入.ssh文件夹
　　2、 ssh-keygen -t  rsa 之后一路回 车（产生秘钥）

　　3、 把id_rsa.pub 追加到授权的 key 里面去（cat>　　4、 重启 SSH 服 务命令使其生效 :service sshd restart（这里RedHat下为sshdUbuntu下为ssh）
　　此时已经可以进行ssh localhost的无密码登陆
　　3.3设置远程无密码登陆
　　这里只有cloud001是master，如果有多个namenode，或者rm的话则需要打通所有master都其他剩余节点的免密码登陆。（将001的authorized_keys追加到002和003的authorized_keys）
　　进入001的.ssh目录
　　scp authorized_keys hduser@cloud002:~/.ssh/ authorized_keys_from_cloud001
　　进入002的.ssh目录
　　cat authorized_keys_from_cloud001>> authorized_keys
　　至此，可以在001上面sshhduser@cloud002进行无密码登陆了。003的操作相同。
　　4、安装jdk(建议每台机器的JAVA_HOME路径信息相同)
　　注意：这里选择下载jdk并自行安装，而不是通过源直接安装（apt-get install）
　　4.1、下载jkd（ http://www.oracle.com/technetwork/java/javase/downloads/index.html）
　　4.1.1 32位的系统可以下载以下两个Linux x86版本（uname -a 查看系统版本）
　　4.1.2  64位系统下载Linux x64版本(即x64.rpm和x64.tar.gz)

　　4.2、安装jdk（这里以.tar.gz版本，64位系统为例）
　　安装方法参考http://docs.oracle.com/javase/7/docs/webnotes/install/linux/linux-jdk.html
　　4.2.1 选择要安装java的位置，如/usr/目录下，新建文件夹java(mkdirjava)
　　4.2.2 将文件jdk-7u40-linux-i586.tar.gz移动到/usr/java
　　4.2.3 解压：tar -zxvf jdk-7u40-linux-x64.tar.gz
　　4.2.4 删除jdk-7u40-linux-x64.tar.gz（为了节省空间）
　　至此，jkd安装完毕，下面配置环境变量
　　4.3、打开/etc/profile（vim /etc/profile）
　　在最后面添加如下内容：
　　JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修改）
　　CLASSPATH=.:$JAVA_HOME/lib.tools.jar
　　PATH=$JAVA_HOME/bin:$PATH
　　export JAVA_HOMECLASSPATH PATH
　　4.4、source /etc/profile
　　4.5、验证是否安装成功：java–version
　　【注意】每台机器执行相同操作，最后将java安装在相同路径下
　　5、关闭每台机器的防火墙
　　RedHat:
　　/etc/init.d/iptables stop 关闭防火墙。
　　chkconfig iptables off 关闭开机启动。
　　Ubuntu:
　　ufw disable (重启生效)
　　第三部分 Hadoop 2.2安装过程
　　由于hadoop集群中每个机器上面的配置基本相同，所以我们先在namenode上面进行配置部署，然后再复制到其他节点。
　　1、 解压文件
　　将第一部分中下载的hadoop-2.2.tar.gz解压到/home/hduser路径下（或者将在64位机器上编译的结果存放在此路径下）。然后为了节省空间，可删除此压缩文件，或将其存放于其他地方进行备份。
　　2、 hadoop配置过程
　　配置之前，需要在cloud001本地文件系统创建以下文件夹：
　　~/dfs/name
　　~/dfs/data
　　~/temp
　　这里要涉及到的配置文件有7个：
　　~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
　　~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
　　~/hadoop-2.2.0/etc/hadoop/slaves
　　~/hadoop-2.2.0/etc/hadoop/core-site.xml
　　~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
　　~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
　　~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
　　以上个别文件默认不存在的，可以复制相应的template文件获得。
　　配置文件1：hadoop-env.sh
　　修改JAVA_HOME值（export JAVA_HOME=/usr/java/jdk1.7.0_40）
　　配置文件2：yarn-env.sh
　　修改JAVA_HOME值（exportJAVA_HOME=/usr/java/jdk1.7.0_40）
　　配置文件3：slaves （这个文件里面保存所有slave节点）
　　写入以下内容：
　　cloud002
　　cloud003
　　配置文件4：core-site.xml
　　
　　fs.defaultFS
　　hdfs://master:9000   //系统分布式URL
　　
　　
　　io.file.buffer.size
　　131072
　　
　　
　　hadoop.tmp.dir
　　file:/home/hadoop/temp
　　
　　
　　hadoop.proxyuser.hadoop.hosts
　　*
　　
　　
　　hadoop.proxyuser.hadoop.groups
　　*
　　
　　注意fs.defaultFS为2.2.0新的变量，代替旧的：fs.default.name
　　配置文件5：hdfs-site.xml
　　
　　dfs.namenode.secondary.http-address
　　master:9001
　　
　　
　　dfs.namenode.name.dir
　　/home/hadoop/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　/home/hadoop/dfs/data,/mnt/d1,/mnt/d2,/mnt/d3
　　
　　
　　
　　
　　dfs.replication
　　3
　　
　　
　　dfs.webhdfs.enabled
　　true
　　
　　新的：dfs.namenode.name.dir，旧：dfs.name.dir
　　新的：dfs.datanode.name.dir，旧：dfs.data.dir
　　dfs.replication确定 data block的副本数目，hadoop基于rackawareness(机架感知)默认复制3份分block,（同一个rack下两个，另一个rack下一 份，按照最短距离确定具体所需block, 一般很少采用跨机架数据块，除非某个机架down了）
　　配置文件6：mapred-site.xml
　　配置其使用 Yarn 框架执行 map-reduce 处理程序
　　这个地方需要把mapred-site.xml.template复制重新命名
　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　mapreduce.jobhistory.address
　　master:10020
　　
　　
　　mapreduce.jobhistory.webapp.address
　　master:19888
　　
　　新的计算框架取消了实体上的jobtracker, 故不需要再指定mapreduce.jobtracker.addres，而是要指定一种框架，这里选择yarn，hadoop2.2.还支持第三方的计算框架。
　　配置文件7：yarn-site.xml
　　配置ResourceManager,NodeManager的通信端口，WEB监控端口等
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　yarn.nodemanager.aux-services.mapreduce.shuffle.class
　　org.apache.hadoop.mapred.ShuffleHandler
　　
　　
　　yarn.resourcemanager.address
　　master:8032
　　
　　
　　yarn.resourcemanager.scheduler.address
　　master:8030
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　master:8031
　　
　　
　　yarn.resourcemanager.admin.address
　　master:8033
　　
　　
　　yarn.resourcemanager.webapp.address
　　master:8088
　　
　　3、复制到其他节点
　　4、启动验证
　　4.1 启动hadoop
　　进入安装目录： cd  ~/hadoop-2.2.0/
　　格式化namenode：./bin/hdfs namenode –format
　　启动hdfs: ./sbin/start-dfs.sh
　　此时在001上面运行的进程有：namenode secondarynamenode
　　002和003上面运行的进程有：datanode
　　启动yarn: ./sbin/start-yarn.sh
　　此时在001上面运行的进程有：namenode secondarynamenoderesourcemanager
　　002和003上面运行的进程有：datanode nodemanaget
　　查看集群状态：./bin/hdfs dfsadmin –report
　　查看文件块组成：  ./bin/hdfsfsck / -files -blocks
　　查看HDFS:    http://16.187.94.161:50070
　　查看RM:    http:// 16.187.94.161:8088
　　4.2 运行示例程序：
　　先在hdfs上创建一个文件夹
　　./bin/hdfs dfs –mkdir /input
　　./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarrandomwriter input