hadoop生态圈安装详解（hadoop+zookeeper+hbase+pig+hive）

gfrv

　　-------------------------------------------------------------------*
　　目录　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 *
　　I　   hadoop分布式安装　　　　　　　　　　　　　　　　　　　   *
　　II　 zookeeper分布式安装　　　　　　　　　　　　　　　　　　  *

　　III　hbase分布式安装　　　　　　　　　　　　　　　　　　　　   *

　　IV　 pig分布式安装　　　　　　　　　　　　　　　　　　　　　 　*

　　V　   hive客户端安装　　　　　　　　　　　　　　　　　　　　　  *
　　--------------------------------------------------------------------*
　　1. hadoop分布式安装
　　　　----------------------------
　　　　Master　　192.168.137.100
　　　　Slaver1　  192.168.137.101
　　　　Slaver2　  192.168.137.102
　　　　----------------------------
　　　　1.1  设置IP地址　　【server network restart】 && 【ifconfig】

　　　　1.2  关闭防火墙　　【server iptables stop】 && 【server iptables status】　
　　　　1.3  永久关闭防火墙　　【chkconfig iptables off】 && 【chkconfig --list | grep iptables】
　　　　1.4  设置主机名　　【hostname Master】->【vi /etc/sysconfig/network】
　　　　1.5  ip与hostname绑定　　【vi /etc/hosts】 && 【ping Master】
　　　　1.6  设置ssh免密码登录　　
　　　　　　（1）ssh-keygen -t rsa（Master、Slaver1、Slaver）
　　　　　　　　  cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys（Master、Slaver1、Slaver）
　　　　　　（2）ssh-copy-id -i id_rsa.pub root@Slaver1（Master）
　　　　　　       ssh-copy-id -i id_rsa.pub root@Slaver1（Slaver2）

　　　　　　（3）scp authorized_keys Master:/root/.ssh/authorized_keys

　　　　　　　　  scp authorized_keys Slaver2:/root/.ssh/authorized_keys
　　　　1.7  安装jdk

　　
　　执行命令　　（1）cd /usr/local
　　
　　（2）chmod u+x jdk-6u24-linux-i586.bin
　　
　　（3）./jdk-6u24-linux-i586.bin
　　
　　（4）mv jdk-1.6.0_24  jdk
　　
　　（5）vi /etc/profile 增加内容如下:
　　
　　export JAVA_HOME=/usr/local/jdk
　　　　　　　　　　　 　export PATH=.:$JAVA_HOME/bin:$PATH
　　
　　（6）source /etc/profile
　　
　　验证　　java -version
　　1.8  安装hadoop（下载hadoop-1.2.1.tar.gz到usr/local）
　　执行命令　　（1）tar -xzvf hadoop-1.2.1.tar.gz
　　（2）mv hadoop-1.2.1 hadoop
　　（3）vi /etc/profile 增加内容如下:
　　　　　　　　　　　　　　export JAVA_HOME=/usr/local/jdk
　　　　　　　　　　　　export HADOOP_HOME=/usr/local/hadoop
　　　　　　　　　　　　export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
　　（4）source /etc/profile
　　（5）修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slavers
　　（6）scp jdk/hadoop Slaver1/Slaver2:/usr/local
　　1.9  验证hadoop
　　（1）hadoop namenode -format
　　（2）start-all.sh
　　验证　　（1）在Master执行命令jps, 如看到3个新的java进程，分别是 NameNode、SecondaryNameNode、JobTracker　　
　　（2）在Slaver1/Slaver2执行命令jps, 如看到2个新的java进程，分别是 DataNode、askTracker
　　（3）在浏览器中查看, http://Master:50070 http://Master:50030
　　
　　2. zookeeper分布式安装