Hadoop+Hive（MySQL）+Hbase+zookeeper

2653885

　　一、hadoop安装
　　虚拟机（centos7）
　　Master：192.168.0.228
　　Slave：192.168.0.207
　　软件
　　apache-hive-1.2.1-bin.tar.gz
　　hadoop-2.6.0-cdh5.4.8.tar.gz
　　jdk-8u65-linux-x64.tar.gz
　　mysql-connector-java-5.1.31-bin.jar
　　hbase-0.98.15-hadoop2-bin.tar
　　zookeeper-3.4.6.tar
　　1.关闭防火墙
　　Systemctl disable firewalld.service
　　Systemctl stop   firewalld.service
　　Setenforce 0
　　Vim /etc/selinux/config  永久关闭
　　将SELINUX=enforce改为SELINUX=disable
　　2.配置主机名
　　192.168.0.228: echo “master” > /etc/hostname
　　192.168.0.207:  echo “slave” > /etc/hostname
　　3.主机间解析
　　在两台机器/etc/hosts文件下添加ip地址和主机名
　　4.配置SSH互信
　　master
　　yum  -y install  sshpass
　　ssh-keygen 一路回车
　　ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.220
　　slave
　　yum  -y install  sshpass
　　ssh-keygen 一路回车
　　ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.201
　　如图，OK
　　5.安装JDK
　　两台机器都需要配置
　　tar zxvf jdk-8u65-linux-x64.tar.gz
　　mv jdk1.8.0_65  /usr/jdk
　　设置环境变量
　　Vim /etc/profile
　　export JAVA_HOME=/usr/jdk
　　export JRE_HOME=/usr/jdk/jre
　　export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
　　export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
　　执行 source  /etc/profile
　　测试
　　java -version，如图
　　6.安装Hadoop
　　tar zxvf hadoop-2.6.0-cdh5.4.8.tar.gz
　　mv hadoop-2.6.0-cdh5.4.8  /usr/hadoop
　　cd  /usr/hadoop
　　mkdir -p dfs/name
　　mkdir -p dfs/data
　　mkdir -p tmp
　　6.1编辑配置文件
　　Salves
　　yarn-env.sh
　　Yarn-site.xml
　　mapred-site.xml
　　hdfs-env.sh
　　core-site.xml
　　Hadoop-env.sh
　　cd /usr/hadoop/etc/hadoop
　　vim slaves
　　192.168.0.220   #添加slaveIP
　　vim hadoop-env.sh / vim yarn-env.sh
　　export JAVA_HOME=/usr/jdk   #加入java变量
　　Vim core-site.xml
　　
　　
　　fs.defaultFS
　　hdfs://192.168.0.228:9000
　　
　　
　　io.file.buffer.size
　　131702
　　
　　
　　hadoop.tmp.dir
　　file:/usr/hadoop/tmp
　　
　　
　　hadoop.proxyuser.hadoop.hosts
　　*
　　
　　
　　hadoop.proxyuser.hadoop.groups
　　*
　　
　　
　　Vim hdfs-site.xml
　　
　　
　　dfs.namenode.name.dir
　　:/usr/hadoop/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　:/usr/hadoop/dfs/data
　　
　　
　　dfs.replication
　　2
　　
　　
　　dfs.namenode.secondary.http-address
　　192.168.0.228:9001
　　
　　
　　dfs.webhdfs.enabled
　　true
　　
　　
　　Vim mapred-site.xml
　　
　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　mapreduce.jobhistory.address
　　192.168.0.228:10020
　　
　　
　　mapreduce.jobhistory.webapp.address
　　192.168.0.228:19888
　　
　　
　　Vim yarn-site.xml
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　yarn.nodemanager.auxservices.mapreduce.shuffle.class
　　org.apache.hadoop.mapred.ShuffleHandler
　　
　　
　　yarn.resourcemanager.address
　　192.168.0.228:8032
　　
　　
　　yarn.resourcemanager.scheduler.address
　　192.168.0.228:8030
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　192.168.0.228:8031
　　
　　
　　yarn.resourcemanager.admin.address
　　192.168.0.228:8033
　　
　　
　　yarn.resourcemanager.webapp.address
　　192.168.0.228:8088
　　
　　
　　yarn.nodemanager.resource.memory-mb
　　768
　　
　　
　　把目录拷贝到slave机器上
　　scp -r /usr/hadoop root@192.168.0.207:/usr/
　　格式化namenode
　　./bin/hdfs namenode -format
　　启动hdfs
　　./sbin/start-dfs.sh  ./sbin/start-yarn.sh
　　使用jps测试
　　访问192.168.0.228:50070
　　192.168.0.228:8088
　　安装MySQL和Hive
　　本地模式：这种模式是将元数据保存在本地数据库中（一般是MySQL）。这样可以支持多用户，多会话。
　　MySQL：
　　wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
　　rpm -ivh mysql-community-release-el7-5.noarch.rpm
　　yum -y install mysql-community-server
　　systemctl start mysql  启动
　　mysqladmin -uroot password ‘password’为root设置密码
　　mysql -uroot -ppassword
　　Create database hive;  创建hive库
　　grant all on hive.* to 'hive'@'localhost' identified by ‘hive’; 授权
　　Hive
　　tar zxf apache-hive-1.2.1-bin.tar.gz
　　mv apache-hive-1.2.1-bin/ /usr/hadoop/hive
　　配置变量
　　vim /etc/profile
　　export HIVE_HOME=/usr/hadoop/hive
　　export PATH=$HIVE_HOME/bin:$HIVE_HOME/conf:$PATH
　　执行 source /etc/profile
　　mv mysql-connector-java-5.1.31-bin.jar /usr/hadoop/hive/lib
　　将JDBC驱动包拷贝到hive的lib下
　　cd /usr/hadoop/hive/conf
　　Cp hive-default.xml.template hive-site.xml
　　Vim hive-site.xml 更改配置文件
　　Cd /usr/hadoop/hive/bin/
　　启动Hive
　　安装zookeeper和Hbase
　　1.Zookeeper
　　Master配置如下：
　　tar zxf zookeeper-3.4.6.tar
　　mv zookeeper-3.4.6 /usr/hadoop/zookeeper
　　更改文件的拥有者
　　Chown -R root:root /usr/hadoop/zookeeper
　　cd /usr/hadoop/zookeeper
　　mkdir data  创建zookeeper数据存储目录
　　配置变量 vim /etc/profile
　　加入export ZOOKEEPER_HOME=/usr/hadoop/zookeeper
　　export PATH=$PATH:$ZOOKEEPER_HOME/bin
　　执行 source /etc/profile
　　配置文件存放在conf/目录下，将zoo_sample.cfd文件名称改为zoo.cfg,  配置如下：
　　Cp zoo_sample.cfd zoo.cfg
　　Vim zoo.cfg
　　tickTime=2000
　　initLimit=10
　　syncLimit=5
　　dataDir=/usr/hadoop/zookeeper/data
　　clientPort=2181
　　输入master和slave的ip地址或主机名：
　　server.1=192.168.0.228:2888:3888
　　server.2=192.168.0.207:2888:3888
　　mkdir data/myid    创建myid文件
　　Vim myid
　　填写zoo.cfg中本机ip前面server.后边的数字
　　1
　　将文件拷贝器slave节点
　　scp -r /usr/hadoop/zookeeper/ root@192.168.0.207:/root/hadoop/
　　Slave配置：
　　配置变量 vim /etc/profile
　　加入export ZOOKEEPER_HOME=/usr/hadoop/zookeeper
　　export PATH=$PATH:$ZOOKEEPER_HOME/bin
　　执行 source /etc/profile
　　Cd /usr/hadoop/zookeeper/data
　　mkdir data/myid    创建myid文件
　　Vim myid
　　填写zoo.cfg中本机ip前面server.后边的数字
　　2
　　启动:
　　[root@master bin]# /usr/hadoop/zookeeper/bin/zkServer.sh start
　　输入jps查看，如图
　　安装Hbase
　　1、tar解压hbase安装包
　　2、配置hbase
　　a、/conf/hbase-env.sh
　　export JAVA_HOME= /usr/jdk
　　export HBASE_MANAGES_ZK=false (可以启用hbase自带的zookeeper，这样也   不用单独安装zookeeper了，如单独安装了，配为false)
　　b、conf/hbase-site.xml
　　该配置采用了hbase自带的zookeeper
　　
　　
　　hbase.rootdir s
　　hdfs://master:9000/hbase
　　
　　
　　hbase.cluster.distributed
　　true
　　
　　
　　hbase.zookeeper.quorum
　　slave1,slave2,slave3
　　
　　
　　dfs.replication
　　2
　　
　　
　　
　　
　　单独安装的zookeeper采用如下配置
　　regionservers
　　
　　hbase.rootdir
　　hdfs://master:9000/hbase
　　
　　
　　hbase.cluster.distributed
　　true
　　
　　
　　hbase.zookeeper.quorum
　　master,slave1,slave2,slave3
　　
　　
　　dfs.replication
　　2
　　
　　
　　
　　
　　hbase.zookeeper.property.dataDir
　　
　　/home/hadoop/zk
　　
　　
　　
　　注意hbase.rootdir配置需要与hadoop的配置一致。
　　c、conf/regionservers
　　slave1
　　slave2
　　slave3
　　到此hbase的配置已完成，用scp命令复制到slave1~salve3中。
　　启动hbase，
　　start-hbase.sh
　　用jps观看是否启动正常，或通过浏览器查看，master:60010。