Hadoop Hive

yxxs123

　　一、Hive：
　　1、定义：    Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
　　Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
　　2、特性：
　　（1）、Hive是Facebook推出的，主要是为了让不懂java的工程师也能通过SQL来驾驭Hadoop集群进行数据分布式数据的多维度分析，甚至你可以只通过Web界面来直接操作Hive。
　　（2）、Hive的核心是把自己的SQL语言即HQL翻译成MapReduce代码，然后交给Hadoop集群执行，也就是说Hive本身是一个单机版本的软件。
　　（3）、 由于是用过写SQL来完成业务需求的，所以相对于编程MapReduce而言，非常的简单和灵活，能够非常轻易的满足业务的需要和多变的场景。
　　（4）、 Hive几乎存在于一切使用大数据的公司中。
　　二、建表语句：
　　1、Managed类型的表也叫内部表（hdfs文件需移动到表目录下；drop Managed的表时，元数据和表的数据一并删除掉）：
　　CREATE TABLE tbl_t1(id int, userid bigint,
　　name string, referrer_url string,
　　ip string comment 'IP Address of the User')
　　comment 'This is the page view table'
　　row format delimited
　　fields terminated by '\t';
　　2、external类型的表也叫外部表（hdfs文件无需移动到表目录下；drop External的表时，只删除元数据）：
　　CREATE EXTERNAL TABLE tab_ip_ext(id int, name string,
　　ip STRING,
　　country STRING)
　　ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
　　STORED AS TEXTFILE
　　LOCATION '/external/hive';
　　3、create as 创建表（ 用于创建一些临时表存储中间结果）
　　CREATE TABLE tab_ip_ctas
　　AS

　　SELECT>　　FROM tab_ip_ext;
　　4、创建分区表：（普通表和分区表区别：有大量数据增加的需要建分区表）
　　create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\t';
　　
　　三、导入数据：
　　1、导入数据本地数据：
　　hive>>load data local inpath '/home/hadoop/test.log' into table tbl_t1;
　　2、导入hdfs上的数据：
　　hive>>load data inpath '/tt.log' into table tbl_t1;
　　3、分区表加载数据:
　　hive>>load data local inpath './book.txt' overwrite into table book partition (pubdate='2016-08-22');
　　4、通过hadoop导入数据：
　　hadoop fs -put book1.txt /usr/hive/test.db/book/
　　四、partition表：
　　hive>>create table tab_u_part(id int,name string,ip string,country string)
　　partitioned by (month string)
　　row format delimited fields terminated by ',';
　　
　　hive>>load data local inpath '/home/hadoop/u.txt' overwrite into table tab_u_part
　　partition(month='201608');
　　hive>>select * from tab_u_part;
　　hive>>select * from tab_u_part where month='201608';
　　hive>>select count(*) from tab_u_part where  month='201608';
　　五、select write to hdfs或者select write to local file：
　　1、local：
　　insert overwrite local directory '/home/hivetemp/test.txt' select * from tab_u_part where month='201608';
　　2、hdfs：
　　insert overwrite directory '/hiveout.txt' select * from tab_u_part where month='201608';
　　六、client shell：
　　hive -S -e 'select country,count(*) from dbName.tab_ext' > /home/hadoop/hivetemp/e.txt
　　有了这种执行机制，就使得我们可以利用脚本语言（bash shell,python）进行hql语句的批量执行
　　七、自定义函数UDF：
　　1、数据示例：
　　13500000001 212 123
　　13600000001 855 836
　　13700000001 123 563
　　13800000001 853 120
　　13900000001 785 563
　　create table tab_flow(phone string,uflow int,dflow int)
　　row format delimited fields terminated by ' ';
　　load data local inpath '/home/f.data' into table tab_flow;
　　将上面的数据变为：
　　13500000001 shanghai 212 123
　　13600000001 beijing 855 836
　　13700000001 tianjin 123 563
　　13800000001 chongqing 853 120
　　13900000001 shenzhen 785 563
　　2、hive自定义函数如下：
　　package cn.hive;
　　import java.util.HashMap;
　　import org.apache.hadoop.hive.ql.exec.UDF;

　　public>　　private static HashMap areaMap = new HashMap();
　　static {
　　areaMap.put("1350", "shanghai");
　　areaMap.put("1360", "beijing");
　　areaMap.put("1370", "tianjin");
　　areaMap.put("1380", "chongqing");
　　areaMap.put("1390", "shenzhen");
　　}
　　//一定要用public修饰才能被hive调用
　　public String evaluate(String pnb) {
　　return areaMap.get(pnb.substring(0,4))==null? (pnb+"  other"):(pnb+"  "+areaMap.get(pnb.substring(0,4)));
　　}
　　}
　　3、将自定含义函数的jar添加到hive，并创建函数与jar的关联：
　　hive>add jar /home/hadoop/myudf.jar;
　　hive>CREATE TEMPORARY FUNCTION getArea AS 'cn.hive.PhoneNbToArea ';
　　hive>select getArea(phone),uflow,dflow from tab_flow;