Hive和SparkSQL： 基于 Hadoop 的数据仓库工具

koflover

Hive： 基于 Hadoop 的数据仓库工具
前言
　　Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的 SQL 查询功能，将类 SQL 语句转换为 MapReduce 任务执行。

数据组织格式
　　下面是直接存储在HDFS上的数据组织方式

• Table：每个表存储在HDFS上的一个目录下
  
• Partition(可选)：每个Partition存储再Table的子目录下
  
• Bucket(可选)：某个Partition根据某个列的hash值散列到不同的Bucket中，每个Bucket是一个文件
  

　　用户可以指定Partition方式和Bucket方式，使得在执行过程中可以不用扫描某些分区。看上去Hive是先指定Partition方式，再在相同的Partition内部调用hash函数；GreenPlum是向指定Hash方式，在Hash分片内部，指定不同的分区方式。
Hive 架构

　　由上图可知，hadoop 和 mapreduce 是 hive 架构的根基。

• MetaStore：存储和管理Hive的元数据，使用关系数据库来保存元数据信息。
  
• 解释器和编译器：将SQL语句生成语法树，然后再生成DAG，成为逻辑计划
  
• 优化器：只提供了基于规则的优化
  
  
  
  • 列过滤：只查询投影列
    
  • 行过滤：子查询where语句包含的partition
    
  • 谓词下推：减少后面的数据量
    
  • Join方式
    
    
    
    • Map join：一大一小的表，将小表广播(指定后在执行前统计，没有数据直方图)
      
    • shuffle join：按照hash函数，将两张表的数据发送给join
      
    • sort merge join：排序，按照顺序切割数据，相同的范围发送给相同的节点(运行前在后台创建立两张排序表，或者建表的时候指定)
      
    
    
  
  
• 执行器：执行器将DAG转换为MR任务
  

Hive 特点

• Hive 最大的特点是 Hive 通过类 SQL 来分析大数据，而避免了写 MapReduce 程序来分析数据，这样使得分析数据更容易
  
• Hive 是将数据映射成数据库和一张张的表，库和表的元数据信息一般存在关系型数据库上（比如 MySQL）
  
• Hive 本身并不提供数据的存储功能，数据一般都是存储在 HDFS 上的（对数据完整性、格式要求并不严格）
  
• Hive 很容易扩展自己的存储能力和计算能力，这个是继承自 hadoop 的（适用于大规模的并行计算）
  
• Hive 是专为 OLAP 设计，不支持事务
  

Hive 流程

　　执行流程详细解析
　　Step 1：UI(user interface) 调用 executeQuery 接口，发送 HQL 查询语句给 Driver
　　Step 2：Driver 为查询语句创建会话句柄，并将查询语句发送给 Compiler， 等待其进行语句解析并生成执行计划
　　Step 3 and 4：Compiler 从 metastore 获取相关的元数据
　　Step 5：元数据用于对查询树中的表达式进行类型检查，以及基于查询谓词调整分区，生成计划
　　Step 6 (6.1，6.2，6.3)：由 Compiler 生成的执行计划是阶段性的 DAG，每个阶段都可能会涉及到 Map/Reduce job、元数据的操作、HDFS 文件的操作，Execution Engine 将各个阶段的 DAG 提交给对应的组件执行。
　　Step 7, 8 and 9：在每个任务（mapper / reducer）中，查询结果会以临时文件的方式存储在 HDFS 中。保存查询结果的临时文件由 Execution Engine 直接从 HDFS 读取，作为从 Driver Fetch API 的返回内容。
容错（依赖于 Hadoop 的容错能力）

• Hive 的执行计划在 MapReduce 框架上以作业的方式执行，每个作业的中间结果文件写到本地磁盘，从而达到作业的容错性。
  
• 最终输出文件写到 HDFS 文件系统，利用 HDFS 的多副本机制来保证数据的容错性。
  

Hive缺陷

• MapReduce：
  
  
  • Map任务结束后，要写磁盘
    
  • 一个MapReduce任务结束后，需要将中间结果持久化到HDFS
    
  • DAG生成MapReduce任务时，会产生无谓的Map任务
    
  • Hadoop在启动MapReduce任务要消耗5-10秒，需要多次启动MapReduce任务
    
  
  

SparkSQL
　　SparkSQL在架构上和Hive类似，只是底层把MapReduce替换为Spark

　　除了替换底层执行引擎，SparkSQL还做了3个方面的优化

• 可以基于内存的列簇存储方案
  
• 对SQL语句提供基于代价优化
  
• 数据共同分片
  

基于代价优化
　　SparkSQL会根据数据的分布，统计分片大小，热点数据等等的数据直方图。根据数据直方图可以完成：

• 根据表的大小动态改变操作符类型(join类型，aggeragate类型)
  
• 根据表的大小决定并发数(DAG节点分裂个数)
  

数据共同分片
　　通过创建表的时候，指定数据的分布方式，类似于GreenPlum指定distribute。这样join的时候不用网络交换。