gfrv 发表于 2015-9-7 09:34:21

hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)

  -------------------------------------------------------------------*
  目录                              *
  I    hadoop分布式安装                      *
  II  zookeeper分布式安装                  *

  III hbase分布式安装                       *

  IV  pig分布式安装                       *

  V    hive客户端安装                     *
  --------------------------------------------------------------------*
  1. hadoop分布式安装
    ----------------------------
    Master  192.168.137.100
    Slaver1 192.168.137.101
    Slaver2 192.168.137.102
    ----------------------------
    1.1设置IP地址  【server network restart】 && 【ifconfig】

    1.2关闭防火墙  【server iptables stop】 && 【server iptables status】 
    1.3永久关闭防火墙  【chkconfig iptables off】 && 【chkconfig --list | grep iptables】
    1.4设置主机名  【hostname Master】->【vi /etc/sysconfig/network】
    1.5ip与hostname绑定  【vi /etc/hosts】 && 【ping Master】
    1.6设置ssh免密码登录  
      (1)ssh-keygen -t rsa(Master、Slaver1、Slaver)
        cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys(Master、Slaver1、Slaver)
      (2)ssh-copy-id -i id_rsa.pub root@Slaver1(Master)
             ssh-copy-id -i id_rsa.pub root@Slaver1(Slaver2)

      (3)scp authorized_keys Master:/root/.ssh/authorized_keys

        scp authorized_keys Slaver2:/root/.ssh/authorized_keys
    1.7安装jdk

  
  执行命令  (1)cd /usr/local
  
  (2)chmod u+x jdk-6u24-linux-i586.bin
  
  (3)./jdk-6u24-linux-i586.bin
  
  (4)mv jdk-1.6.0_24jdk
  
  (5)vi /etc/profile 增加内容如下:
  
  export JAVA_HOME=/usr/local/jdk
             export PATH=.:$JAVA_HOME/bin:$PATH
  
  (6)source /etc/profile
  
  验证  java -version
  1.8安装hadoop(下载hadoop-1.2.1.tar.gz到usr/local)
  执行命令  (1)tar -xzvf hadoop-1.2.1.tar.gz
  (2)mv hadoop-1.2.1 hadoop
  (3)vi /etc/profile 增加内容如下:
              export JAVA_HOME=/usr/local/jdk
            export HADOOP_HOME=/usr/local/hadoop
            export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
  (4)source /etc/profile
  (5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、masters、slavers
  (6)scp jdk/hadoop Slaver1/Slaver2:/usr/local
  1.9验证hadoop
  (1)hadoop namenode -format
  (2)start-all.sh
  验证  (1)在Master执行命令jps, 如看到3个新的java进程,分别是 NameNode、SecondaryNameNode、JobTracker  
  (2)在Slaver1/Slaver2执行命令jps, 如看到2个新的java进程,分别是 DataNode、askTracker
  (3)在浏览器中查看, http://Master:50070 http://Master:50030
  
  2. zookeeper分布式安装
  
页: [1]
查看完整版本: hadoop生态圈安装详解(hadoop+zookeeper+hbase+pig+hive)