centos6.5下hadoop2.2.0的8节点配置兼动态添加节点测试

hfj1975

　　
hadoop2.2.0 的8节点 配置
测试环境：硬件dell服务器
esxi5.1版虚拟化  这里虚拟化环境应该无所谓，vm的测试环境部署起来简单。

后续会放出openstack环境下的部署。
centos6.5 32位迷你版
hadoop2.2.0官方下载
本轮测试只偏重测试hdfs，没有对分布式计算进行测试。　　1、 下载  cd /opt   
　　wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.2.0.tar.gz
　　tar -zxvf hadoop-2.2.0.tar.gz
　　然后关闭selinux和iptables    执行setenforce 0 && service iptables off
　　推荐永久关闭    请参考网上相关文档。
　　这里rpm装oracle官方的jdk32位。
　　Vi /opt/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
　　更改export JAVA_HOME=/usr/java/jdk1.7.0_45/ 这里视自己的jdk版本而定。
　　2、编辑host文件  vi /etc/hosts
　　192.168.1.181 hadoop181
192.168.1.182 hadoop182
192.168.1.183 hadoop183
192.168.1.184 hadoop184
192.168.1.185 hadoop185
192.168.1.186 hadoop186
192.168.1.187 hadoop187
192.168.1.188 hadoop188
192.168.1.189 hadoop189
　　
　　3、如下操作都在第一台服务器配置，配置完后直接clone其他服务器就行。快速简单。
　　其中181定义为主节点，其他从。
　　开始配置ssh免登陆。有的centos没有openssh客户端，需要装 yum install openssh-clients
　　然后开始建ssh目录  mkdir ~/.ssh
　　然后生成密钥 执行 sshkeygen 一路y下去
　　拷贝公钥 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　4、 更改配置文件  如下配置都在<configuration>模块下
　　配置核心文件
　　vi /opt/hadoop-2.2.0/etc/hadoop/core-site.xml
　　
　　<property>
　　  <name>hadoop.tmp.dir</name>
　　 <value>/tmp/hadoop</value>
　　 <description></description>
　　</property>
　　<property>
　　 <name>fs.default.name</name>
　　 <value>hdfs://192.168.1.181:8010</value>
　　 <description></description>
　　</property>
　　
　　更改map文件
　　mv
　　/opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml.template  /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml
　　
　　vi  /opt/hadoop-2.2.0/etc/hadoop/mapred-site.xml
　　<property>
　　<name>mapred.job.tracker</name>
　　<value>192.168.1.181:54311</value>
　　<description></description>
　　</property>
　　
　　更改hdfs的配置
　　vi  /opt/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
　　<property>
　　<name>dfs.replication</name>
　　<value>2</value>
　　<description></description>
　　</property>
　　
　　5、开始配置181的slave
　　vi /opt/hadoop-2.2.0/etc/hadoop/slaves
　　hadoop182
　　hadoop183
　　hadoop184
　　hadoop185
　　（这里先只放4个节点，后续测试动态增加节点）
　　本次采用的是整个虚拟机整体复制8份部署测试，如果不是这种部署方式的话需要配置ssh登陆和hosts文件，并且拷贝一份已经配置好的hadoop到其他服务器的同路径下。
　　6、开始启动：
　　&#26684;式化/opt/hadoop-2.2.0/bin/hdfs namenode -format
　　然后启动/opt/hadoop-2.2.0/sbin/start-dfs.sh
　　/opt/hadoop-2.2.0/sbin/start-yarn.sh
　　Ok，幸福时光到了，打开http://192.168.1.181:8088 这个地址看吧
　　然后打开http://192.168.1.181:50070 ，这个地址可以看看hdfs的相关信息。
　　
　　7、 开始测试动态添加节点
　　打开181上的vi /opt/hadoop-2.2.0/etc/hadoop/slaves
　　添加上
　　hadoop186
　　hadoop187
　　hadoop188
　　hadoop189
　　然后执行/opt/hadoop-2.2.0/sbin/start-dfs.sh ，会自动启动另外4台服务器的hdfs，然后到主服务器的http://192.168.1.181:50070 查看下当前的Live Node ，数量正确则没问题。
　　

　　刷新节点的命令为：/opt/hadoop-2.2.0/bin/hdfs dfsadmin -refreshNodes
　　然后测试看了下 在182上添加的文件在所有服务器上都可以看到。
　　至于其他hdfs的操作请参考网上其他文档。
　　

         版权声明：本文为博主原创文章，未经博主允许不得转载。