Spark笔记整理（二）：RDD与spark核心概念名词

yao000

　　[TOC]

Spark RDD
　　非常基本的说明，下面一张图就能够有基本的理解：

Spark RDD基本说明
　　1、Spark的核心概念是RDD (resilient distributed dataset，弹性分布式数据集)，指的是一个只读的，可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，在多次计算间重用。
　　2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同Worker节点上，从而让RDD中的数据可以被并行操作。（分布式数据集）
　　3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；有时也可以通过RDD的本地创建转换而来。
　　4、传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作（每跑完一个Job，拿到其中间结果后，再跑下一个Job，联想使用MR做数据清洗的案例）。RDD正是解决这一缺点的抽象方法。RDD最重要的特性就是，提供了容错性，可以自动从节点失败中恢复过来。即如果某个节点上的RDD partition，因为节点故障，导致数据丢了，那么RDD会自动通过自己的数据来源重新计算该partition。这一切对使用者是透明的。RDD的lineage特性（类似于族谱，像上面的图，假如某个partition的数据丢失了，找到其父partition重新计算即可，我称之为溯源）。
　　5、RDD的数据默认情况下存放在内存中的，但是在内存资源不足时，Spark会自动将RDD数据写入磁盘。（弹性）

RDD在Spark中的地位和作用
　　（1）为什么会有Spark？因为传统的并行计算模型无法有效的解决迭代计算（iterative）和交互式计算（interactive）；而Spark的使命便是解决这两个问题，这也是他存在的价值和理由。
　　（2）Spark如何解决迭代计算？其主要实现思想就是RDD，把所有计算的数据保存在分布式的内存中。迭代计算通常情况下都是对同一个数据集做反复的迭代计算，数据在内存中将大大提升IO操作。这也是Spark涉及的核心：内存计算。（一行搞定wc：sc.textFile("./hello").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_).collect.foreach(println)，这就是典型的迭代计算了）
　　（3）Spark如何实现交互式计算？因为Spark是用scala语言实现的，Spark和scala能够紧密的集成，所以Spark可以完美的运用scala的解释器，使得其中的scala可以向操作本地集合对象一样轻松操作分布式数据集。
　　（4）Spark和RDD的关系？可以理解为：RDD是一种具有容错性基于内存的集群计算抽象方法，Spark则是这个抽象方法的实现。

Spark常用核心模块

1、核心模块开发：离线批处理 Spark Core
2、实时计算：底层也是基于RDD Spark Streaming
3、Spark SQL/Hive：交互式分析
4、Spark Graphx：图计算
5、Spark Mlib： 数据挖掘和机器学习
核心概念名词

　　大多数应该都要实地写过spark程序和提交任务到spark集群后才有更好的理解。

• ClusterManager：在Standalone模式中即为Master（主节点），控制整个集群，监控Worker。在YARN模式中为资源管理器。
  
• Worker：从节点，负责控制计算节点，启动Executor。在YARN模式中为NodeManager，负责计算节点的控制。
  
• Driver：运行Application的main()函数并创建SparkContext。
  
• Executor：执行器，在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。
  
• SparkContext：整个应用的上下文，控制应用的生命周期。
  
• RDD：Spark的基本计算单元，一组RDD可形成执行的有向无环图RDD Graph。
  
• DAG Scheduler：实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的Partition个数决定Task的个数，然后生成相应的Task set放到TaskScheduler中。
  
• TaskScheduler：将任务（Task）分发给Executor执行。（所以Executor执行的就是我们的代码）
  
• Stage：一个Spark作业一般包含一到多个Stage。
  
• Task：一个Stage包含一到多个Task，通过多个Task实现并行运行的功能。
  
• Transformations：转换(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。（后面的wc例子就会有很好的说明）
  
• Actions：操作(Actions) (如：count, collect, save等)，Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。
  
• SparkEnv：线程级别的上下文，存储运行时的重要组件的引用。SparkEnv内创建并包含如下一些重要组件的引用。
  
  
  
  • MapOutPutTracker：负责Shuffle元信息的存储。
    
  • BroadcastManager：负责广播变量的控制与元信息的存储。
    
  • BlockManager：负责存储管理、创建和查找块。
    
  • MetricsSystem：监控运行时性能指标信息。
    
  • SparkConf：负责存储配置信息。