Spark 2.0 时代全面到来

sxyzy

欢迎加入运维网交流群：263444886  
                　　距离Spark 2.0.0发布两个月后，Spark 2.0.1版本发布了，这是一个修正版本，共处理了300多个Issue，涉及spark稳定性和bug等方面的修复 ，它的发布意味着Spark 2.0接近生产环境使用要求，想要尝试Spark 2.0的可以动手了。
　　Apache Spark 2.0是基于spark branch-2.x 开发的，相比于branch-1.0，它在功能和性能等方面均有巨大改进。在性能方面，Spark 2.x 有2~10倍的提升；在功能方面，Spark SQL中的Dataset变得成熟，Spark 2.x通过Dataset重构了Spark Streaming和MLlib的API，进而使得这两个系统在易用性和性能方面有重大提升，在不久的将来，Dataframe/Dataset API（high-level API）将取代RDD API（low-level API），成为主流的Spark编程接口。
　　
　　Apache Spark 2.x在性能和功能方面的改进主要包括：
　　
　　1. 性能方面
　　相比于Spark 1.0，Spark 2.0在引擎性能方面有重大优化，其优化主要体现在Spark Core和Spark SQL两个系统上，其优化主要得益于Tungsten计划（“钨丝计划”），其主要动机是优化Spark内存和CPU的使用，使其能够逼近物理机器的性能极限。

• 　　利用“整阶段代码生成”（“whole stage code generation”），使得SQL和DataFrame中算子性能优化2-10倍
  
• 　　通过“向量化计算”提升Parquet格式文件的扫描吞吐率
  
• 　　提升ORC格式文件的读写性能
  
• 　　提升Catalyst查询优化器性能
  

　　2. 功能方面
　　（1）Spark Core/SQL:Tungsten Phase 2，优化CPU与Memory方面
　　“钨丝计划”完成第二阶段任务，在内存和CPU使用方面进一步优化Spark引擎性能，重构了大量数据结构和算法的实现，使得Dataframe/Dataset性能得到显著提升，这使得Dataframe/Dataset有能力成为其他几个系统（比如Spark Streaming和MLlib）的基础API。
　　
　　注：“钨丝计划”包括三个方面的优化：

• 　　Memory Management and Binary Processing： Java GC严重，且java对象内存开销大，可采用类似C语言机制，直接操纵binary data（sun.misc.Unsafe）
  
• 　　Cache-aware Computation：合理使用CPU的L1/L2/L3 cache，设计对cache友好的算法
  
• 　　Code Generation：可去除条件检查，减少虚函数调度等
  

　　（2）Spark SQL: 统一DataFrame与Dataset API
　　众所周知，在Spark 1.x中，DataFrame API存在很多问题，包括不是类型安全的(not type-safe)，缺乏函数式编程能力（not object-oriented）等，为了克服这些问题，社区引入了Dataset，相比于DataFrame，它具有以下几个特点：类型安全，面向对象编程方式；支持非结构化数据（json）；java与scala统一接口和性能极好的序列化框架等，她将成为Spark未来主流的编程接口（RDD API是low-level API，而Dataset则是high-level API）。
　　（3）Spark SQL：支持SQL 2003
　　Spark SQL在通用性方面有重大突破，它跑通了所有（99个）TPC-DS查询 ，并有以下几个改进：

• 　　解析器可同时支持ANSI-SQL 和Hive QL
  
• 　　实现了DDL
  
• 　　支持大部分子查询
  
• 　　支持View
  

　　（4）Spark Streaming：引入Structured Streaming
　　Spark Streaming基于Spark SQL（DataFrame / Dataset ）构建了high-level API，使得Spark Streaming充分受益Spark SQL的易用性和性能提升。Spark Streaming重构的API主要是面向结构化数据的，被称为“Structured Streaming”，其主要特性包括：

• 　　DataFrame / Dataset API的支持
  
• 　　提供了Event time, windowing, sessions, sources & sink等API
  
• 　　连接流式数据与静态数据集
  
• 　　交互式查询结果：通过JDBC server将RDD结果暴露出去，以便于交互式查询
  

　　（5）Spark MLlib: MLlib 2.0诞生
　　Spark MLlib朝着2.0进化，主要体现在机器学习模型的多样化，持久化和定制化上，具体包括：

• 　　广义线性模型的全面实现
  
• 　　Python & R API的支持
  
• 　　增强模型持久化能力
  
• 　　Pipieline定制化
  

　　Apache Spark 2.0在功能和性能的重大改进，使得它在分布式计算领域进一步巩固了自己的地位，随着Spark应用越来越广泛，它将变成数据工程师的一项基本技能。
　　
　　相关链接：
　　
　　Apache Spark 2.0.1 发行说明：https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12315420&version=12336857
　　Apache Spark 2.0.1下载地址：http://spark.apache.org/downloads.html
　　
　　Apache Spark 2.0 新特性与展望 : http://www.chinahadoop.cn/course/697
　　作者：toolsyun_admin