在Hadoop伪分布式模式下安装Hive(derby,mysql)

youdial

　　我的Hadoop版本是1.2.0，mysql版本是5.6.12.
　　先介绍一下嵌入式derby模式：
　　1.下载/解压
　　在hive官网上选择要下载的版本，我选择的版本是hive-0.10.0.
　　下载好解压到：/usr/local/hadoop,因为我的hadoop安装在了这个文件下



leefon@ubuntu:~/Download$ sudo tar xzf hive-0.10.0.tar.gz -C /usr/local/hadoop
leefon@ubuntu:~/Download$ cd /usr/local/hadoop
　　之后便可以在/usr/local/hadoop目录下看到hive-0.10.0文件夹，将其更名为hive,并将用户权限更改为hadoop



leefon@ubuntu:/usr/local/hadoop$ sudo mv hive-0.10.0 hive
leefon@ubuntu:/usr/local/hadoop$ sudo chown -R hadoop:hadoop hive
　　2.为hive添加环境变量
　　在/etc/profile中修改



leefon@ubuntu:/usr/local/hadoop$ sudo vim /etc/profile
　　
　　添加:HIVE_HOME,下面是我在/etc/profile设置的环境变量：

　　修改之后，保存，退出，然后执行



leefon@ubuntu:/usr/local/hadoop$ source /etc/profile
　　使其立即生效。
　　3.修改hive的配置文件
　　hive的配置文件放在HIVE_HOME/conf目录下，我们需要修改hive-env.sh和hive-site.xml这两个文件。ls之后发现并没有这两个文件，但是有hive-env.sh.template,hive-default.xml.template,我们须复制这两个文件，并分别命名为hive-env.sh,hive-site.xml。一般还有一个hive-default.xml文件，同样由hive-default.xml.template复制而来。hive-default.xml是默认配置，hive-site.xml是个性化配置，将会覆盖hive-default.xml配置。切换到hadoop用户下，并复制两个文件：



leefon@ubuntu:/usr/local/hadoop/hive/conf$su hadoop
输入hadoop用户的密码：
hadoop@ubuntu:/usr/local/hadoop/hive/conf$cp hive-default.xml.template hive-default.xml
hadoop@ubuntu:/usr/local/hadoop/hive/conf$cp hive-default.xml.template hive-site.xml
hadoop@ubuntu:/usr/local/hadoop/hive/conf$cp hive-env.sh.template hive-env.sh

• 配置hive-env.sh
  

　　用vim打开
　　将export HADOOP_HEAPSIZE=1024前面的‘#’去掉，当然可以根据自己的环境对这个默认的1024进行优化；
　　将export HADOOP_HOME前面的‘#’号去掉，并让它指向您所安装hadoop的目录，我的/usr/local/hadoop;
　　将export HIVE_CONF_DIR=/usr/local/hadoop/hive/conf,并且把‘#’号去掉;
　　将export HIVE_AUX_JARS_PATH=/usr/local/hadoop/hive/lib,并且把‘#’号去掉。
　　esc(键) :wq
　　source ./hive-env.sh(生效文件)

• 配置hive-site.xml
  

　　首先创建相应的目录，以便与配置文件的路径相对应：



hadoop@ubuntu:/usr/local/hadoop/hive$ mkdir /usr/local/hadoop/hive/warehouse
hadoop@ubuntu:/usr/local/hadoop/hive$ mkdir /usr/local/hadoop/hive/log
　　vim hive-site.xml,需要修改三处:




hive.metastore.warehouse.dir
/user/hive/warehouse
location of default database for the warehouse

#临时文件目录，这个没有可以添加进去

hive.exec.scratdir
/usr/local/hadoop/hive/tmp

#存放hive相关日志的目录

hive.querylog.location
/usr/local/hadoop/hive/log

Location of Hive run time structured log file


　　其余的使用默认的就行。
　　还有一个重要的修改，否则启动会报警告



hadoop@ubuntu:/usr/local/hadoop/hive$ bin/hive
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
　　解决的办法就是在 hive-log4j.properties 中将 log4j.appender.EventCounter 的值修改为
org.apache.hadoop.log.metrics.EventCounter,这样就不会报。该文件同样在目录HIVE_HOME/conf下面。
　　4.启动hive



hadoop@ubuntu:/usr/local/hadoop/hive$ bin/hive  
hadoop@ubuntu:/usr/local/hadoop/hive$ hive> show tables;  
　　

　　
　　下面是配置mysql模式下的Hive
　　1.为mysql专门为hive添加用户



mysql> CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive';  
mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost' WITH GRANT OPTION;
　　2.修改配置文件hive-site.xml




hive.metastore.local
true


javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
JDBC connect string for a JDBC metastore


javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
Driver class name for a JDBC metastore


javax.jdo.option.ConnectionUserName
hive
username to use against metastore database


javax.jdo.option.ConnectionPassword
hive
password to use against metastore database

　　3.添加jdbc的jar包
　　在mysql的官网上下载jdbc,我使用的版本是5.1.25。解压，拷贝到HIVE _HOME/lib目录下



leefon@ubuntu:~/Download$ tar -xvzf mysql-connector-java-5.1.25.tar.gz  
leefon@ubuntu:~/Download$ cp mysql-connector-java-5.1.25/*.jar /usr/local/hadoop/hive/lib  
　　4.启动hive



hadoop@ubuntu:/usr/local/hadoop/hive$ bin/hive  
hadoop@ubuntu:/usr/local/hadoop/hive$ hive> show tables;  
　　参考： http://www.iyunv.com/inuyasha1027/archive/2013/02/14/2911182.html
　　http://www.iyunv.com/linjiqin/archive/2013/03/04/2942402.html
　　http://www.fuzhijie.me/?p=377
　　http://visionsky.blog.iyunv.com/733317/898497
　　http://running.iteye.com/blog/908038