HADOOP/HBase动态新增节点

qqruser

　　1. 检查JDK版本是否相同并拷贝JDK，并配置/etc/profile文件的JAVA_HOME和CLASSPATH属性
　　2. 配置/etc/hosts文件，新增新加机器的计算机名，包括原有机器和新增机器都要修改该文件
　　3. 拷贝hadoop-2.6.0和hbase-1.0.1.1，并把hadoop-2.6.0和hbase-1.0.1.1文件夹的文件所有者和文件所属组改成hadoop
　　4. 配置Master到Slave的无密码登录
　　5. 设置机器句柄数,修改/etc/security/limits.conf,详见http://beyond3518.blog.51cto.com/1360525/1764190
　　6. 安装snappy
　　6.1 安装软件: Gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3, glibc
　　安装方法 : yum install xxx
　　6.2 安装glibc方法 :
　　6.2.1 到192.168.9.110的/data/server/glibc-2.14.tar.gz拷贝文件,把该文件拷贝到/usr/local目录下
　　6.2.2 进入/usr/local目录下, cd /usr/local
　　6.2.3 解压glibc-2.14.tar.gz,  tar -zxvf glibc-2.14.tar.gz
　　6.2.4 新建目录/usr/local/glibc, mkdir /usr/local/glibc
　　6.2.5 进入/usr/local/glibc目录, cd /usr/local/glibc
　　6.2.6 运行命令 export CFLAGS="-g -O2"
　　6.2.7 运行命令 /usr/local/glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin
　　6.2.8 运行命令 make
　　6.2.9 运行命令 make install
　　6.2.10 验证是否安装成功 :
　　运行命令 : ll /lib64/libc.so.6 , 如果显示结果 /lib64/libc.so.6 -> libc-2.14.so , 则安装成功
　　7. 修改hadoop的slaves配置文件,添加新增节点,并把该配置文件发送到所有其他节点上去
　　8. 添加Datanode
　　对于新添加的Datanode节点,需要启动datanode进程,从而将其添加到集群
　　8.1 在新增的节点上，运行sbin/hadoop-daemon.sh start datanode 启动datanode进程
　　8.2 在新增的节点上, 运行sbin/yarn-daemon.sh start nodemanager 启动nodemanager进程
　　8.3 然后在namenode通过hdfs dfsadmin -report查看集群情况
　　8.4 最后还需要对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可
　　8.5 默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%
　　8.6 然后启动Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可
　　9. 添加Nodemanager
　　由于Hadoop 2.X引入了YARN框架，所以对于每个计算节点都可以通过NodeManager进行管理，同理启动NodeManager进程后，即可将其加入集群
　　9.1 在新增节点，运行sbin/yarn-daemon.sh start nodemanager即可
　　9.2 在ResourceManager，通过yarn node -list查看集群情况
　　10. 修改hbase的regionservers配置文件,添加新增节点.并把该配置文件发送到所有其他节点
　　11. 在新增的节点上,启动regionserver. 运行hbase-daemon.sh start regionserver即可
　　12. 修改InputService/StoreService服务器的/etc/hosts文件,添加新节点的域名