设为首页 收藏本站
查看: 968|回复: 0

[经验分享] Hadoop Hive

[复制链接]

尚未签到

发表于 2018-10-29 12:02:28 | 显示全部楼层 |阅读模式
  一、Hive:
  1、定义:    Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 reducer 来处理内建的 mapper 和 reducer 无法完成的复杂的分析工作。
  Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
  2、特性:
  (1)、Hive是Facebook推出的,主要是为了让不懂java的工程师也能通过SQL来驾驭Hadoop集群进行数据分布式数据的多维度分析,甚至你可以只通过Web界面来直接操作Hive。
  (2)、Hive的核心是把自己的SQL语言即HQL翻译成MapReduce代码,然后交给Hadoop集群执行,也就是说Hive本身是一个单机版本的软件。
  (3)、 由于是用过写SQL来完成业务需求的,所以相对于编程MapReduce而言,非常的简单和灵活,能够非常轻易的满足业务的需要和多变的场景。
  (4)、 Hive几乎存在于一切使用大数据的公司中。
  二、建表语句:
  1、Managed类型的表也叫内部表(hdfs文件需移动到表目录下;drop Managed的表时,元数据和表的数据一并删除掉):
  CREATE TABLE tbl_t1(id int, userid bigint,
  name string, referrer_url string,
  ip string comment 'IP Address of the User')
  comment 'This is the page view table'
  row format delimited
  fields terminated by '\t';
  2、external类型的表也叫外部表(hdfs文件无需移动到表目录下;drop External的表时,只删除元数据):
  CREATE EXTERNAL TABLE tab_ip_ext(id int, name string,
  ip STRING,
  country STRING)
  ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
  STORED AS TEXTFILE
  LOCATION '/external/hive';
  3、create as 创建表( 用于创建一些临时表存储中间结果)
  CREATE TABLE tab_ip_ctas
  AS

  SELECT>  FROM tab_ip_ext;
  4、创建分区表:(普通表和分区表区别:有大量数据增加的需要建分区表)
  create table book (id bigint, name string) partitioned by (pubdate string) row format delimited fields terminated by '\t';
  
  三、导入数据:
  1、导入数据本地数据:
  hive>>load data local inpath '/home/hadoop/test.log' into table tbl_t1;
  2、导入hdfs上的数据:
  hive>>load data inpath '/tt.log' into table tbl_t1;
  3、分区表加载数据:
  hive>>load data local inpath './book.txt' overwrite into table book partition (pubdate='2016-08-22');
  4、通过hadoop导入数据:
  hadoop fs -put book1.txt /usr/hive/test.db/book/
  四、partition表:
  hive>>create table tab_u_part(id int,name string,ip string,country string)
  partitioned by (month string)
  row format delimited fields terminated by ',';
  
  hive>>load data local inpath '/home/hadoop/u.txt' overwrite into table tab_u_part
  partition(month='201608');
  hive>>select * from tab_u_part;
  hive>>select * from tab_u_part where month='201608';
  hive>>select count(*) from tab_u_part where  month='201608';
  五、select write to hdfs或者select write to local file:
  1、local:
  insert overwrite local directory '/home/hivetemp/test.txt' select * from tab_u_part where month='201608';
  2、hdfs:
  insert overwrite directory '/hiveout.txt' select * from tab_u_part where month='201608';
  六、client shell:
  hive -S -e 'select country,count(*) from dbName.tab_ext' > /home/hadoop/hivetemp/e.txt
  有了这种执行机制,就使得我们可以利用脚本语言(bash shell,python)进行hql语句的批量执行
  七、自定义函数UDF:
  1、数据示例:
  13500000001 212 123
  13600000001 855 836
  13700000001 123 563
  13800000001 853 120
  13900000001 785 563
  create table tab_flow(phone string,uflow int,dflow int)
  row format delimited fields terminated by ' ';
  load data local inpath '/home/f.data' into table tab_flow;
  将上面的数据变为:
  13500000001 shanghai 212 123
  13600000001 beijing 855 836
  13700000001 tianjin 123 563
  13800000001 chongqing 853 120
  13900000001 shenzhen 785 563
  2、hive自定义函数如下:
  package cn.hive;
  import java.util.HashMap;
  import org.apache.hadoop.hive.ql.exec.UDF;

  public>  private static HashMap areaMap = new HashMap();
  static {
  areaMap.put("1350", "shanghai");
  areaMap.put("1360", "beijing");
  areaMap.put("1370", "tianjin");
  areaMap.put("1380", "chongqing");
  areaMap.put("1390", "shenzhen");
  }
  //一定要用public修饰才能被hive调用
  public String evaluate(String pnb) {
  return areaMap.get(pnb.substring(0,4))==null? (pnb+"  other"):(pnb+"  "+areaMap.get(pnb.substring(0,4)));
  }
  }
  3、将自定含义函数的jar添加到hive,并创建函数与jar的关联:
  hive>add jar /home/hadoop/myudf.jar;
  hive>CREATE TEMPORARY FUNCTION getArea AS 'cn.hive.PhoneNbToArea ';
  hive>select getArea(phone),uflow,dflow from tab_flow;


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627983-1-1.html 上篇帖子: Hadoop MapReduce(FlowCount) Java编程 下篇帖子: Hadoop启动脚本分析
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表