blueice 发表于 2018-10-30 09:07:47

Hadoop-HBASE 热添加新节点

  Hadoop-HBASE 热添加新节点
  环境:
  192.168.137.101 hd1
  192.168.137.102 hd2
  192.168.137.103 hd3
  192.168.137.104 hd4
  四节点hadoop和hbase
  1、设置hostname
  vi /etc/sysconfig/network
  hostname hd5
  设置完毕后需要退出重新登录下方可生效
  查看防火墙状态:service iptables status
  停用防火墙:service iptables stop
  2、hd5中修改/etc/hosts
  加入      192.168.137.105 hd5
  3、分发其到所有hd1, hd2, hd3, hd4
  scp /etc/hosts hd1:/etc
  scp /etc/hosts hd2:/etc
  scp /etc/hosts hd3:/etc
  scp /etc/hosts hd4:/etc
  4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成
  cd ~/.ssh

  rm>
  rm>  ssh-keygen -t rsa
  5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥
  cat ~/.ssh/id_rsa.pub >> authorized_keys
  6、分发改文件到其它各节点
  scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
  scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
  scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
  scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh
  7、前往各个节点进行第一次到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)
  在hd1, ssh hd5 date
  在hd2, ssh hd5 date
  在hd3, ssh hd5 date
  在hd4, ssh hd5 date
  在hd5, ssh hd5 date
  8、将某节点上的hadoop和hbase安装文件拷贝到新节点上,然后修改配置文件
  在hd5修改hadoop的slave文件
  vim /home/hadoop/hadoop/etc/hadoop/slaves
  加入hd5
  分发其到其它节点
  scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
  scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
  scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
  scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop
  9、在hd5启动datanode
  ./hadoop-daemon.sh start datanode
  10、在hd5启动start-balancer.sh均衡当前hdfs块
  start-balancer.sh
  11、如果还有hbase在上面运行则需要部署hbase的hserver
  修改
  vim /home/hadoop/hbase/conf/regionservers
  加入hd5 并复制regionservers文件到hd1,hd2,hd3,hd4
  scp regionservers hd1:/home/hadoop/hbase/conf
  scp regionservers hd2:/home/hadoop/hbase/conf
  scp regionservers hd3:/home/hadoop/hbase/conf
  scp regionservers hd4:/home/hadoop/hbase/conf
  13、在hd5启动hbase regionserver
  hbase-daemon.sh start regionserver
  14、在hd1和hd5启动hbase shell
  用status命令确认一下集群情况

页: [1]
查看完整版本: Hadoop-HBASE 热添加新节点