hadoop及hbase集群增加节点

midea2

　　一、hadoop扩容
　　1、配置各节点hosts文件，加入新加入的两个节点的IP和主机名
　　新添加的节点添加下面内容
　　192.168.11.131    master1
　　192.168.11.132    master2
　　192.168.11.133    slave1
　　192.168.11.134    slave2
　　192.168.11.135    slave3
　　新节点互相加入对方的主机名解析
　　老的节点添加下面内容
　　192.168.11.136    slave4
　　192.168.11.137    slave5
　　2、准备工作
　　参照之前的博客生产环境下hadoop HA集群及Hbase HA集群配置 为新添加的节点做以下操作：
　　配置主机名
　　关闭防火墙和selinux
　　配置yum源
　　配置时间同步（作为ntp服务客户端）
　　创建组和用户
　　创建目录
　　无密码登陆
　　配置java环境
　　3、修改hadoop配置文件并拷贝hadoop文件
　　登录master1节点
　　$ cd /data1/usr/hadoop-2.7.3/etc/hadoop
　　$ vi slaves
　　添加新加入的节点信息
　　slave4
　　slave5
　　$ for ip in 2 3 4 5;do scp /data1/usr/hadoop-2.7.3/etc/hadoop/slaves 192.168.11.13$ip:/data1/usr/hadoop-2.7.3/etc/hadoop/;done
　　拷贝hadoop文件到新节点
　　$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave4:/data1/usr
　　$ scp -rpq /data1/usr/hadoop-2.7.3 hduser@slave5:/data1/usr
　　4、清空日志
　　登录到新添加的服务器
　　$ cd /data1/usr/hadoop-2.7.3/logs
　　$ rm *.log.*
　　$ rm *.out.*
　　$ for i in `find . -name "*.log" -o -name "*.out"`;do cat /dev/null >$i;done
　　删除其他项目和文件
　　对比datanode老的节点，把/data1/usr/hadoop-2.7.3下多余的文件和目录删除。
　　5、启动服务
　　分别登陆新节点，启动datanode
　　$ cd /data1/usr/hadoop-2.7.3/sbin
　　$ ./hadoop-daemon.sh start datanode
　　登陆master1节点，刷新datanode列表
　　$ cd /data1/usr/hadoop-2.7.3/bin
　　$ ./hdfs dfsadmin -refreshNodes
　　查看列表信息
　　$ ./hdfs dfsadmin -report
　　8、对hdfs负载均衡
　　$ cd /data1/usr/hadoop-2.7.3/sbin
　　$ ./start-balancer.sh
　　如果你的集群有单独的balance节点，带宽又足够大的话，可以考虑做balance优化，因为按照默认配置的话，balance的过程会持续很长一段时间。具体的优化方法可以参考我转载的另一篇博客：优化Hadoop Balancer平衡的速度。
　　启动yarn
　　$ cd /data1/usr/hadoop-2.7.3/sbin
　　$ ./yarn-daemon.sh start nodemanager
　　查看集群情况
　　$ cd /data1/usr/hadoop-2.7.3/bin
　　$ yarn rmadmin -refreshNodes
　　$ ./yarn node -list
　　9、如有添加journalnode节点的需要还需要添加journalnode服务，不过本次变更没有添加，添加步骤如下
　　修改JournalNode地址，必须保证奇数个
　　vim /data1/usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
　　
　　dfs.namenode.shared.edits.dir
　　qjournal://slave1:8485;slave2:8485;slave3:8485;slave4:8485;slave5:8485/mycluster
　　
　　二、hbase扩容
　　1、登陆master1，修改配置文件
　　$ cd /data1/usr/hbase-1.2.4/conf
　　$ vi regionservers
　　添加新节点主机
　　slave4
　　slave5
　　$ for ip in 2 3 4 5;do scp /data1/usr/hbase-1.2.4/conf/regionservers 192.168.11.13$ip:/data1/usr/hbase-1.2.4/etc/hadoop/;done
　　登陆新节点，创建目录，修改权限
　　2、拷贝hbase文件到新节点
　　登陆master1节点
　　$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.136:/data
　　$ scp -rpq /data1/usr/hbase-1.2.4 hduser@192.168.11.137:/data
　　清理日志
　　$ cd /data1/usr/hbase-1.2.4/logs
　　$ rm *.out.*
　　$ >hbase-hduser-master-master1.log
　　$ >hbase-hduser-master-master1.out
　　3、登陆新节点，启动服务
　　$ cd /data1/usr/hbase-1.2.4/bin
　　$ ./hbase-daemon.sh start regionserver
　　$ ./hbase shell
　　status