第2课：通过案例对SparkStreaming 透彻理解三板斧之二：解密SparkStreaming运行机制和架构
Spark的龙脉/关键点就是Spark StreamingSpark Streaming更像Spark Core上的一个应用程序，就是最复杂的应用程序
我们现在到官网看下：
http://s5.运维网.com/wyfs02/M02/7F/D3/wKiom1cu0HzyWWyRAADrC-XzLPM920.png
学习Spark的最佳的入手点是Spark Streaming
http://s1.运维网.com/wyfs02/M00/7F/D1/wKioL1cu0VnRpmZtAABnxQdh_w8440.png
循环的依据就是时间
http://s4.运维网.com/wyfs02/M00/7F/D3/wKiom1cu0KCSYmwJAALl2iPZEd0715.png
http://s2.运维网.com/wyfs02/M01/7F/D1/wKioL1cu0X_xhMgHAACNa_loMjU512.png
SparkStreaming运行机制和架构图：
http://s3.运维网.com/wyfs02/M02/7F/D1/wKioL1cu0YHA4bVKAAC2w5YmVUo600.png
补充说明：
Spark Streaming 只不过是在RDD的基础上加上了时间的维度，我们现在加上了空间的维度.
Event 就构成了数据的集合，而RDD是基于固定不变的数据集合生成的.
每个RDD 的DAG间隔关系是基于Event中的时间间隔.
其实还是个RDD DAG的依赖，不会现在具体有多少Job.
随着时间的流逝DStream不断的去填充这个模板.
http://s2.运维网.com/wyfs02/M01/7F/D1/wKioL1cu0YvjM1iBAALAP2q2F7w670.png
所以我们现在知道了:
1.我们要有静态的DStream模板，这个模板就是 DStream Graph
2.我们要有动态的Job控制器，这个Job的控制器会根据我们设定的时间间隔，搜集到数据，让我们的DStream Graph 活起来就变成了RDD Graph
Spark Streaming 容错：
RDD 怎么容错，Spark Streaming 就怎么容错;Spark Streaming 还可能采用一种限流的方式;在处理过程中，有可能根据需要进行资源的调整.
http://s4.运维网.com/wyfs02/M02/7F/D1/wKioL1cu0ZnRosqeAAK3gNJZd4c402.png
http://s4.运维网.com/wyfs02/M00/7F/D3/wKiom1cu0MSya-hAAACzNNSfyHY770.png
http://s1.运维网.com/wyfs02/M01/7F/D1/wKioL1cu0aTBkJHLAAHjLUHrVnM535.png
DStream是逻辑级别的，RDD是物理级别的;可以在处理的时候任务是对流的转换，但其实根本就没有DStream这回事.
DStream是RDD的模板，随着时间的流逝DStream 中其实就是一系列的RDD,对DStream的操作就是对一个个的RDD的操作.
DStream就是对RDD操作的封装。
这个依赖关系就是RDD依赖的模板
http://s3.运维网.com/wyfs02/M01/7F/D3/wKiom1cu0NWwYNTxAAMQs_8UwIc123.png
http://s3.运维网.com/wyfs02/M01/7F/D1/wKioL1cu0b-Tm58EAALa9x6BrK8465.png
RDD与DStream的关系：DStream 随着时间的操作不断的产生RDD
DStream是逻辑级别的，RDD 是物理级别的，DStream 是更高级别的抽象，RDD 是底层的实现。只不过这个逻辑级别的抽象实现了更高级别的抽象，DStream 随着时间的维度，会有一系列的RDD. 即：我弄一个类，这个类里面随着时间的流逝有RDD. 或者说，我弄一个类随着时间的集合去封装RDD. 就是搞一个集合随着时间维度不断地生成RDD. 对一个集合的操作，转过来作用于对一个RDD的操作（ 即转到内部成员的操作），就是做一个集合，然后作用于集合里面的每个元素。
你就认为DStream 就是对RDD的一个封装的集合，对DStream的Transferance的操作就会作用于他内部封装的集合的每一个RDD.所以对RDD的操作就产生了对RDD的依赖关系，就构成了DAG之间的依赖关系。
而为什么会对这个RDD进行操作，这个是由你对DStream操作的业务逻辑也就是空间维度决定的，这个空间维度作用于DStream这样一个集合，随着时间的流逝，Batch Interval产生了对每个Batch Interval数据，基于这个数据产生的RDD的Transfer操作，进而产生了RDD DAG 的依赖关系，然后随着他的JobSchedular根据实际调度，基于这个RDD依赖关系把作业发布到集群上去运行，然后就不断地产生Spark Job.
备注：
这是我的Spark版本定制班学习笔记
更多私密内容，请关注微信公众号：DT_Spark
如果您对大数据Spark感兴趣，可以免费听由王家林老师每天晚上20：00开设的Spark永久免费公开课，地址YY房间号：68917580
页:
[1]