hadoop 2.2.0 + hbase 0.96.2 +hive 0.13.1 安装

shisgmei

安装前应先安装jdk此处就不再重复了
操作系统 CentOS release 6.3 64位 最好使用更高的版本
hadoop 2.2.0安装
第一步:配置ssh免密码登录
可以查看这篇文章http://xinruibaobao.iyunv.com/blog/2154632

第二步:配置hadoop环境变量
HADOOP_HOME           hadoop的安装目录
HADOOP_CONF_DIR       配置文件所在目录

第三步:配置core-site.xml文件
设置fs.default.name   hdfs://host:9000  配置hdfs访问目录 namenode所在机器
设置hadoop.tmp.dir    本地目录          临时文件存放目录

第四步:配置hdfs-site.xml文件
dfs.replication       奇数              文件备份数量
dfs.nameode.name.dir                    namenode文件目录
dfs.datanode.data.dir                   datanode文件目录
dfs.permissions        false            是否需要权限                        

第五步:配置 mapres-site.xml文件
mapred.job.tracker     host:8021        jobtracker访问地址 namenode所在机器
mapreduce.cluster.tmp.dir               value为空final true
mapreduce.cluster.local.dir             value为空final true
mapreduce.framework.name                yarn

第六步:配置yarn-site.xml
yarn.nodemanager.aux-services  mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class   org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address  host:8032  namenode所在机器
yarn.resourcemanager.scheduler.address host:8030 namenode所在机器
yarn.resourcemanager.resource-tracker.address host:8031 namenode所在机器
yarn.resourcemanager.admin.address   host:8033 namenode所在机器
yarn.resourcemanager.webapp.address  host:8088 namenode所在机器

第七步:配置slaves
集群中的所有slave机器地址

第八步:将程序分发到所有机器上

第九步:每台机器上格式化namenode

第十步:启动start-all.sh

第十一步:执行jps,查看java进程

hadoop安装完成.

hbase0.96.2安装
由于免密码登录已经配置了所以直接配置hbase配置文件，此次使用hbase自带的zookeeper操作

第一步:编辑hbase-env.sh      HBASE_MANAGES_ZK=true  使用hbase自带的zookeeper
                             export JAVA_HOME=jdk安装目录

第二步:编辑hbase-site.xml   
       设置hbase.root.dir属性    hdfs://host:9000/hbase 此路径为hadoop路径
       设置hbase.cluster.distributed属性    设置hbase分布式
       设置hbase.master属性      host:60000
       设置hbase.tmp.dir属性     /home/hadoop/hbasetmp  hbase的临时文件夹
       设置hbase.zookeeper.quorum zookeeper所在的机器的host以逗号分隔

第三步:配置regionservers文件   所有regionserver的host

第四步:分发到各个节点
      
第五步:先启动hadoop再启动hbase

关闭防火墙后，在win上访问Hbase的60010端口

hive0.13安装
第一步:配置环境变量 HIVE_HOME hive的安装路径
       PATH中配置hive的conf目录
       CLASSPATH 配置hive的lib目录
第二步:配置hive-env.sh  HADOOP_HOME   hadoop安装目录

第三步:配置hive-site.xml
       mysql 配置 javax.jdo.option.ConnectionURL            jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
             配置 javax.jdo.option.ConnectionDriverName
       com.mysql.jdbc.Driver
             配置 javax.jdo.option.ConnectionUserName
              数据库连接的用户名
             配置javax.jdo.option.ConnectionPassword
              数据库连接的密码
             配置 hive.metastore.warehouse.dir
             hdfs://server18:9000/hive/warehouse
             配置 hive.exec.scratchdir
             hdfs://server18:9000/tmp
             配置 hive.querylog.location
             /home/hadoop/tmp/hive/logs
            hive.server2.long.polling.timeout
            将l去掉
            hive.server2.thrift.bind.host
            配置jdbc要访问的地址
            hbase.zookeeper.quorum
            配置zookeeper的host
            hive.aux.jars.path
            <value>file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-hadoop-compat-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hive-hbase-handler-0.13.1.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/protobuf-java-2.5.0.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-client-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-common-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-protocol-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hbase-server-0.96.2-hadoop2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/zookeeper-3.4.5.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/guava-11.0.2.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/htrace-core-2.04.jar,file:////home/hadoop/sourjar/apache-hive-0.13.1-bin/lib/hive-contrib-0.13.1.jar</value>