第2课：通过案例对SparkStreaming 透彻理解三板斧之二：解密SparkStreaming运行机制和架构

542179528

　　Spark的龙脉/关键点就是Spark Streaming
　　Spark Streaming更像Spark Core上的一个应用程序，就是最复杂的应用程序
　　

　　我们现在到官网看下：

　　

　　学习Spark的最佳的入手点是Spark Streaming

　　循环的依据就是时间

　　

　　

　　SparkStreaming运行机制和架构图：
　　

　　补充说明：
　　Spark Streaming 只不过是在RDD的基础上加上了时间的维度，我们现在加上了空间的维度.
　　Event 就构成了数据的集合，而RDD是基于固定不变的数据集合生成的.
　　每个RDD 的DAG间隔关系是基于Event中的时间间隔.
　　其实还是个RDD DAG的依赖，不会现在具体有多少Job.
　　随着时间的流逝DStream不断的去填充这个模板.
　　

　　所以我们现在知道了:
　　1.我们要有静态的DStream模板，这个模板就是 DStream Graph
　　2.我们要有动态的Job控制器，这个Job的控制器会根据我们设定的时间间隔，搜集到数据，让我们的DStream Graph 活起来就变成了RDD Graph
　　

　　Spark Streaming 容错：
　　RDD 怎么容错，Spark Streaming 就怎么容错;Spark Streaming 还可能采用一种限流的方式;在处理过程中，有可能根据需要进行资源的调整.

　　

　　

　　DStream是逻辑级别的，RDD是物理级别的;可以在处理的时候任务是对流的转换，但其实根本就没有DStream这回事.
　　DStream是RDD的模板，随着时间的流逝DStream 中其实就是一系列的RDD,对DStream的操作就是对一个个的RDD的操作.
　　DStream就是对RDD操作的封装。
　　这个依赖关系就是RDD依赖的模板

　　

　　RDD与DStream的关系：DStream 随着时间的操作不断的产生RDD
　　

　　DStream是逻辑级别的，RDD 是物理级别的，DStream 是更高级别的抽象，RDD 是底层的实现。只不过这个逻辑级别的抽象实现了更高级别的抽象，DStream 随着时间的维度，会有一系列的RDD. 即：我弄一个类，这个类里面随着时间的流逝有RDD. 或者说，我弄一个类随着时间的集合去封装RDD. 就是搞一个集合随着时间维度不断地生成RDD. 对一个集合的操作，转过来作用于对一个RDD的操作（ 即转到内部成员的操作），就是做一个集合，然后作用于集合里面的每个元素。
　　你就认为DStream 就是对RDD的一个封装的集合，对DStream的Transferance的操作就会作用于他内部封装的集合的每一个RDD.所以对RDD的操作就产生了对RDD的依赖关系，就构成了DAG之间的依赖关系。
　　而为什么会对这个RDD进行操作，这个是由你对DStream操作的业务逻辑也就是空间维度决定的，这个空间维度作用于DStream这样一个集合，随着时间的流逝，Batch Interval产生了对每个Batch Interval数据，基于这个数据产生的RDD的Transfer操作，进而产生了RDD DAG 的依赖关系，然后随着他的JobSchedular根据实际调度，基于这个RDD依赖关系把作业发布到集群上去运行，然后就不断地产生Spark Job.
　　

备注：
这是我的Spark版本定制班学习笔记
更多私密内容，请关注微信公众号：DT_Spark
如果您对大数据Spark感兴趣，可以免费听由王家林老师每天晚上20：00开设的Spark永久免费公开课，地址YY房间号：68917580