hadoop-1.0.3+hive-0.9.0+hbase-0.92.0单机伪分布式配置

判官007

　　这段时间已经被hadoop单机伪分布式集群配置折腾得体无完肤了，网上有各种单机集群的分布式配置方法介绍，但是照着做总是会出现这样或那样的问题。虽然道路十分曲折，但是苍天不负有心人，终于还是配置成功了。
　　言归正传，我配置hadoop集群选用了以下组件：hadoop-1.0.3，hive-0.9.0，hbase-0.92.0，zookeeper-3.4.2，jdk-1.6.33。由于hive与hbase整合时，hive对hbase的版本有要求，所以我直接使用了hive-0.9.0要求的hbase0.92.0版本。当然也可以使用其他版本的hbase数据库，只是需要重新编译hive-hbase-handler-*.jar,我对这个不熟，所以贪了一个便宜，如果对重编译jar包熟悉的同志可以试试。其他的组建可以任选，但是为避免莫名奇妙的错误，最好还是选择与hive要求相近的版本，比如hadoop在1.0.0以上，jdk要求在1.6.0版本以上，有的地方直接使用了openjdk，之前试了一下，发现不行>_

　　fs.default.name
　　hdfs://localhost:9000
　　HDFS's URI, file system://namenode ID:Port
　　
　　
　　hadoop.tmp.dir
　　/home/martin/hadoop-1.0.3/hadooptmp
　　namenode上本地的hadoop临时文件夹
　　

　　2. 编辑文件/home/dota/hadoop/conf/hdfs-site.xml
　　

  dfs.name.dir
  /home/martin/hadoop-1.0.3/hdfs/name
  namenode上存储hdfs名字空间元数据



  dfs.data.dir
  /home/martin/hadoop-1.0.3/hdsf/data
  datanode上数据块的物理存储位置



  dfs.replication
  1
  num of replication


3.编辑/home/martin/hadoop-1.0.3/conf/mapred-site.xml
　　

  mapred.job.tracker
  localhost:9001
  jobtracker ID:Port, not URI


  mapred.local.dir
  /home/martin/hadoop-1.0.3/mapred/local
  tasktracker上执行mapreduce程序时的本地目录


  mapred.system.dir
  /tmp/hadoop/mapred/system
  这个是hdfs中的目录，存储执行mr程序时的共享文件


hadoop基本配置完成。在终端中键入hadoop-1.0.3/bin/hadoop namenode -format,没有出现错误提示则成功。
　　启动hadoop集群，终端键入
　　hadoop-1.0.3/bin/start-all.sh
　　出现以下一些信息
　　Warning: $HADOOP_HOME is deprecated.
　　
starting namenode, logging to /home/martin/hadoop-1.0.3/logs/hadoop-martin-namenode-ubuntu.out
localhost: Warning: $HADOOP_HOME is deprecated.
localhost:
localhost: starting datanode, logging to /home/martin/hadoop-1.0.3/logs/hadoop-martin-datanode-ubuntu.out
localhost: Warning: $HADOOP_HOME is deprecated.
localhost:
localhost: starting secondarynamenode, logging to /home/martin/hadoop-1.0.3/logs/hadoop-martin-secondarynamenode-ubuntu.out
starting jobtracker, logging to /home/martin/hadoop-1.0.3/logs/hadoop-martin-jobtracker-ubuntu.out
localhost: Warning: $HADOOP_HOME is deprecated.
localhost:
localhost: starting tasktracker, logging to /home/martin/hadoop-1.0.3/logs/hadoop-martin-tasktracker-ubuntu.out
查看jps，则可见如下几项。
jpmartin@ubuntu:~$ jps
3452 Jps
3050 JobTracker
2956 SecondaryNameNode
3402 TaskTracker
2222 NameNode
2593 DataNode
使用hadoop前需要格式化namenome，在终端中输入
hadoop-1.0.3/bin/hadoop fs -put conf路径（这里是conf文件夹的路径，我的是/home/martin/hadoop-1.0.3/conf,最好给出绝对路径） input
hadoop-1.0.3/bin/hadoop fs -ls
如果没有出现错误提示，则表明成功了，否则查看配置是否有错。
3.ssh服务安装与配置
　　在终端键入：
　　sudo apt-get install openssh-server
　　安装完成后，配置SSH无密码连接
　　$ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
　　$cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　$chmod 400 ~/.ssh/authorized_keys
　　输入ssh localhost后有如下内容：
　　Welcome to Ubuntu 12.04 LTS (GNU/Linux 3.2.0-23-generic x86_64)
* Documentation:  https://help.ubuntu.com/
0 packages can be updated.
0 updates are security updates.
Last login: Fri Aug 24 11:14:20 2012 from localhost
表示ssh服务安装成功。
4.hbase安装与配置
　　将hbase-0.92.0.tar.gz拷贝到主文件下，也就是hadoop-1.0.3的位置。在终端输入
　　tar xzvf hbase-0.92.1.tar.gz
　　此时会得到hbase-0.92.0的文件夹。打开hbase-0.92.0下的conf文件，配置hbase数据库
　　打开hbase-env.sh文件，在末尾添加
　　export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_33
export HBASE_HOME=/home/martin/hbase-0.92.0
export PATH=$PATH:/home/martin/hbase-0.92.0/bin
　　打开hbase-site.xml文件，加入
　　
  
    hbase.rootdir  
    file:///home/martin/hbase-0.92.0  


  
    hbase.cluster.distributed  
    true  

  
    hbase.zookeeper.quorum  
    localhost  

  
    zookeeper.session.timeout  
    60000  
  
  
    hbase.zookeeper.property.clientPort  
    2181  


　　重启电脑，启动hbase服务，在终端键入
　　hbase-0.92.0/bin/start-hbase.sh
　　屏幕会出现
　　martin@ubuntu:~$ hbase-0.92.0/bin/hbase shell
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 0.92.0, r1231986, Mon Jan 16 13:16:35 UTC 2012
hbase(main):001:0>

　　查看hbase是否可用，可键入
　　status
　　屏幕出现
　　1 servers, 0 dead, 4.0000 average load
这表明hbase数据库可用，继续进行。。。
　　
5.zookeeper安装与配置
　　下载zookeeper-3.4.2.tar.gz，这个软件包是hbase要求的版本号，为了避免莫名奇妙的错误，我尽量采用相关的版本号。特别说明一下，hive-0.9.0要求的zookeeper版本号是3.4.3，但是我使用的是3.4.2，不过也没有出错，也就没有管了。
　　终端中键入
　　tar xzvf zookeeper-3.4.2
　　安装完成后，打开zookeeper-3.4.2文件夹下的conf文件夹，里面有3个文件，将zoo-sample.cfg更名为zookeeper.cfg,内容不做任何改动。
　　
6.hive安装与配置
　　下载hive-0.9.0.tar.gz，原本想使用hive-0.8.1的，结果0.8.1版本需要的hbase版本为0.8.9，找了半天都没有找到，最后就选择了0.9.0版本。
　　在终端键入
　　tar xzvf hive-0.9.0.tar.gz，同前一样，不做更名处理。打开hive-0.9.0下的conf文件夹，做如下配置：
　　将conf中的hive-default.xml.sample以及hive.sh.sample改为hive-default.xml和hive-env.sh,并把hive-default.xml复制并重命名为hive-site.xml.
　　在hive-env.sh最后添加
　　export JAVA_HOME=/usr/lib/jvm/jdk1.6.0_33
　　export HIVE_HOME=/home/martin/hive-0.9.0
　　export PATH=$PATH:/home/martin/hive-0.9.0/bin
　　export HADOOP_HOME=/home/martin/hadoop-1.0.3
　　打开hive-site.xml，在最后添加
　　
hive.exec.scratchdir  
/home/martin/hive-0.9.0/tmp  

  
   
  
  hive.querylog.location  
  /home/martin/hive-0.9.0/logs  
  
   

  hive.aux.jars.path  
  file:///home/martin/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar,file:///home/martin/hive-0.9.0/lib/hbase-0.92.0.jar,file:///home/martin/hive-0.9.0/lib/zookeeper-3.4.2.jar      

　　在终端键入
hive-0.9.0/bin/hive start
　　出现一下信息
　　martin@ubuntu:~$ hive-0.9.0/bin/hive start
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in jar:file:/home/martin/hive-0.9.0/lib/hive-common-0.9.0.jar!/hive-log4j.properties
Hive history file=/home/martin/hive-0.9.0/logs/hive_job_log_martin_201208271000_1268040863.txt
hive>
　　键入show tables，可以查看hive中已有的数据表。
7.配置伪分布式
　　删除hive-0.9.0/lib下原有的hbase-0.92.0.jar包，拷贝hbase-0.92.0下hbase-0.92.0.jar包到hadoop-1.0.3/lib和hive-0.9.0/lib下，将zoopeeker-3.4.2文件夹下的zookeeper-3.4.2拷贝到hive-0.9.0/lib和hbase-0.92.0/lib下，删除hbase-0.92.0/lib中原有的zookeeper-3.4.2.jar包和hive-0.9.0/lib下的zookeeper-3.4.3.jar包。并将hbase-0.92.0/conf/hbase-site.xml拷贝到hadoop-1.0.3/conf下。编辑/etc/hosts文件，将127.0.1.1所在行更改注释掉，另起一行，将刚刚注释的那行复制下来，去掉注释符，并将127.0.1.1修改为127.0.0.1，其他内容不用修改。
　　按照如下顺序启动集群相关服务
　　hadoop-1.0.3/bin/start-all.sh
　　hbase-0.92.0/bin/start-hbase.sh
　　hive-0.9.0/bin/hive start
　　此时用jps查看可以得到如下信息
　　4916 RunJar
3974 HMaster
9241 Jps
3050 JobTracker
2956 SecondaryNameNode
3402 TaskTracker
2222 NameNode
2593 DataNode
3893 HQuorumPeer
4310 HRegionServer
5370 Main
如果缺少某些服务，可能会使hive和hbase的整合不成功。注：启动hive后，不要急忙推出，否则可能看不到Runjar,Main服务。
　　启动hive服务后，输入
　　CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz");
如果没有报错，则hive和hbase的整合成功了。如果出现namenode in sage mode的提示，则使用
　　hadoop-1.0.3/bin/hadoop dfsadmin -safemode leave
关闭安全模式，再使用就可以了