发表于 2019-1-31 06:34:14

王家林每日大数据语录Spark篇0018（2015.11.7于南宁）

在Spark的reduceByKey操作时会触发Shuffle的过程，在Shuffle之前，会有本地的聚合过程产生MapPartitionsRDD，接着具体Shuffle会产生ShuffledRDD,之后做全局的聚合生成结果MapPartitionsRDD　　




页: [1]
查看完整版本: 王家林每日大数据语录Spark篇0018（2015.11.7于南宁）