Spark Shuffle过程详细分析
在MapReduce中shuffle和Spark的shuffle的过程有一些区别。这里做一下具体的介绍。Mapreduce的shuffle过程图解
https://s5.运维网.com/wyfs02/M02/9C/FA/wKiom1l4WuOTFJkEAAI5JEjqoaE705.png-wh_500x0-wm_3-wmp_4-s_385469608.png
Spark shuffle过程图解
注意:spark shuffle过程中没有分区和排序的过程，而且存储结果存储在内存中，所以速度要比mapreduce要快很多。
https://s1.运维网.com/wyfs02/M02/9C/FA/wKioL1l4W23TORWCAAG84E03F-w129.png-wh_500x0-wm_3-wmp_4-s_15070288.png
先就到这里吧，图解的说明应该比较清晰了。有问题欢迎留言
页:
[1]