Hadoop系列之Hive(数据仓库)安装配置

ABKYH

　　Hadoop系列之Hive(数据仓库)安装配置
　　1.在NameNode安装
　　cd /root/soft
　　tar zxvf apache-hive-0.13.1-bin.tar.gz
　　mv apache-hive-0.13.1-bin /usr/local/hadoop/hive
　　2. 配置环境变量(每个节点都需要增加)
　　打开/etc/profile
　　#添加以下内容：
　　export HIVE_HOME=/usr/local/hadoop/hive
　　export PATH=$HIVE_HOME/bin:$PATH
　　#环境变量生效
　　source /etc/profile
　　3.安装mysql数据库环境
　　请参照http://azhuang.blog.51cto.com/9176790/1551549
　　数据库安装成功后,一定要建立号权限及创建hive数据库。操作如下

　　grant all privileges on hive.* to hive@'192.168.3.%'>　　create database hive character set latin1;  #UTF-8编码hive会报错,所以需要修改编码为latin1
　　4. 配置Hive
　　cd /usr/local/hadoop/hive/conf/
　　cp hive-default.xml.template hive-site.xml
　　#vim hive-site.xml(修改之间配置)
　　
   
　　
        javax.jdo.option.ConnectionURL
　　
        jdbc:mysql://192.168.3.10:3306/hive?characterEncoding=latin1
　　
   
　　
   
　　
        javax.jdo.option.ConnectionDriverName
　　
        com.mysql.jdbc.Driver
　　
   
　　
   
　　
        javax.jdo.option.ConnectionUserName
　　
        hive
　　
   
　　
   
　　
        javax.jdo.option.ConnectionPassword
　　
        123
　　
   
　　

　　#以上四项分别是：
　　数据库连接，数据库驱动名，用户名，密码。
　　5.把mySQL的JDBC驱动包复制到Hive的lib目录下
　　cp /root/soft/mysql-connector-java-commercial-5.1.30-bin.jar /usr/local/hadoop/hive/lib/
　　6.复制Hive到所有DataNode节点
　　scp -r /usr/local/hadoop/hive root@192.168.3.11:/usr/local/hadoop/
　　scp -r /usr/local/hadoop/hive root@192.168.3.12:/usr/local/hadoop/
　　7.简单测试
　　//查看当前数据表
　　hive> show tables;
　　OK
　　Time taken: 1.069 seconds
　　//从本地文件系统中导入数据到Hive表
　　#创建student.txt测试文本,字段之间用tab键分割
　　[root@hdfs-master soft]# cat /root/soft/student.txt
　　1    aa    10    121221
　　2    bb    20    0990
　　3    cc    30    120120
　　#创建student测试表
　　hive> create table student(id int, name string, age int, tel string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  STORED AS TEXTFILE;
　　OK
　　Time taken: 0.043 seconds
　　#再次查看当前数据表及结构
　　hive> show tables;
　　OK
　　student
　　hive> desc student;
　　OK
　　id                      int
　　name                    string
　　age                     int
　　tel                     string
　　Time taken: 0.103 seconds, Fetched: 4 row(s)
　　#把/root/soft/student.txt本地记录导入到student表
　　hive> load data local inpath '/root/soft/student.txt'  into table student;
　　Copying data from file:/root/soft/student.txt
　　Copying file: file:/root/soft/student.txt
　　Loading data to table default.student
　　Table default.student stats: [numFiles=1, numRows=0, totalSize=43, rawDataSize=0]
　　OK
　　Time taken: 0.376 seconds
　　#查看student表，如果有记录表示本地插入数据成功.
　　hive> select * from student;
　　OK
　　1    aa    10    121221
　　2    bb    20    0990
　　3    cc    30    120120
　　Time taken: 0.066 seconds, Fetched: 3 row(s)
　　//HDFS上导入数据到Hive表
　　#上传本地文件到hdfs
　　[root@hdfs-master soft]# hdfs dfs -put /root/soft/student.txt /hive
　　[root@hdfs-master soft]# hdfs dfs -cat /hive/student.txt
　　1    aa    10    121221
　　2    bb    20    0990
　　3    cc    30    120120
　　#从hdfs导入到hive数据
　　hive> load data inpath '/hive/student.txt' into table student;
　　Loading data to table default.student
　　Table default.student stats: [numFiles=2, numRows=0, totalSize=86, rawDataSize=0]
　　OK
　　Time taken: 1.389 seconds
　　hive> select * from student;
　　OK
　　1    aa    10    121221
　　2    bb    20    0990
　　3    cc    30    120120
　　1    aa    10    121221
　　2    bb    20    0990
　　3    cc    30    120120
　　Time taken: 0.049 seconds, Fetched: 6 row(s)