Hadoop相关部署二：Hive安装部署

uyfrjk

1.1  解压缩Hive
将Hive的tar包解压到/opt目录下：
tar –zxvf hive-0.7.1-cdh3u3.tar.gz
解压缩后的Hive目录如下：
其中bin目录下是一些可执行的脚本文件，在conf下是相关的配置文件，也是我们要修改的主要地方，lib下是一些相关的jar包，包括mysql的连接包、hbase的包等都会放到lib下。
将Hive的安装路径添加到path环境变量中。
以及
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HIVE_LIB=$HIVE_HOME/lib
在/etc/profile文件中添加上述代码，source使之生效。
1.2  创建Hive的目录
在hdfs中创建Hive的目录，命令如下：
[hdfs@sdc0 bin]$ ./hadoop fs -mkdir /tmp
[hdfs@sdc0 bin]$ ./hadoop fs -mkdir /usr/hive/warehouse
[hdfs@sdc0 bin]$ ./hadoop fs -chmod g+w /tmp
[hdfs@sdc0 bin]$ ./hadoop fs -chmod g+w /usr/hive/warehouse
1.3  conf/hive-site.xml
   这个文件主要用于配置Hive的一些配置参数。文件中的内容也是主要以property键值对的形式存在，主要有一下五种键：
hive.metastore.local 设置元数据信息的存放位置，如果采用mysql等第三方数据库时，设置为true，本文档编写时采用的就是mysql；
本文档中设置为true
javax.jdo.option.ConnectionURL 设置数据库的连接信息；
本文档中设置为
jdbc:mysql://10.28.171.38:3306/hiveTestDB?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName 设置数据库的驱动信息；
本文档中设置为：com.mysql.jdbc.Driver
javax.jdo.PersistenceManagerFactoryClass设置数据持久化的类；
本文档中设置为：org.datanucleus.jdo.JDOPersistenceManagerFactory
javax.jdo.option.DetachAllOnCommit设置是否从session中把对象分离出来；本文档中设置为true；
javax.jdo.option.NonTransactionalRead 设置 是否允许事务外的数据对象访问；本文档中设置为true；
javax.jdo.option.ConnectionUserName 设置数据库的用户名；
本文档中设置为：hive
javax.jdo.option.ConnectionPassword 设置数据库的用户密码；
本文档中设置为：hive
hive.querylog.location设置日志的保存位置，如果不设置，将默认保存在/tmp/<user.name>/hive.log里。
hive.aux.jars.path设置运行hive时需要额外加载的一些相关的包，如果不设置的话，在执行insert或者跟mapreduce、hbase相关的操作时会报错。
本文档中设置为：
file:///opt/hive-0.7.1-cdh3u3/lib/hive-hbase-handler-0.7.1-cdh3u3.jar,file:///opt/hive-0.7.1-cdh3u3/lib/hbase-0.94.1-security.jar,file:///opt/hive-0.7.1-cdh3u3/lib/zookeeper-3.4.3.jar,file:///opt/hive-0.7.1-cdh3u3/lib/protobuf-java-2.4.0a.jar
即，把lib目录下的这四个jar包加载进来。其中，hbase-0.94.1-security.jar在habse安装目录中；zookeeper-3.4.3.jar在zookeeper安装目录中；protobuf-java-2.4.0a.jar在hbase安装目录中的lib下，此包是和hbase相关联时通信用。
1.4  配置数据库
一般都采用第三方数据库比如mysql等存储元数据信息，而不用hive自带的derby数据库。安装mysql数据库可采用如下命令：
yum install mysql-server
安装完成后，利用如下命令启动：
/etc/init.d/mysqld start
现在要创建我们前面在hive-site.xml文件中用到的数据库和用户名了。
以root用户登录mysql之后执行：
CREATE USER ‘hive’@'localhost’ IDENTIFIED BY ‘hive’;
或者在数据库mysql的user表中插入：
insert into mysql.user(Host,User,Password) values(‘%’,'hive’,password(‘hive’));
执行上述命令之后都需要执行：
flush privileges;
使命令之生效。之所以host键的值填“%”，这是因为我们要从别的机器连接mysql，如果设置为localhost，就被会本机拒绝连接。除了设置为“%”之外，还可以设置为需要连接mysql的主机的ip地址。
有了相应的hive用户，下面就创建可以被hive用户操作的数据库了。在root用户下创建数据库hiveTestDB：
create database hiveTestDB;
此时的hiveTestDB数据库时属于root的，现在利用命令将hiveTestDB的使用权限给hive用户：
grant all privileges on hiveTestDB.* to hive identified by ‘hive’ with grant option;
还是要使用命令：
flush privileges;
使之生效。
1.5  Hive的lib配置
将hadoop目录下的hadoop-core-0.20.2-cdh3u3.jar包、mysql数据库的mysql-connector-java-5.1.21-bin.jar包和
mysql-connector-java-5.1.6.jar包放入Hive的lib目录下。
1.6 Hive的启动
Hive启动的时候像Hadoop一样，也是在bin目录下，bin的目录结构如下：
目录结构比较简单，在启动的时候需要运行hive脚本，可以直接ctrl+c组合键退出。启动Hive
在Hive的bin的目录下输入命令：
hive
即可进入hive的环境。