spark2.x由浅入深深到底系列六之RDD api reduceByKey与foldByKey对比

ab168

　　学习spark任何知识点之前，最好先正确理解spark，可以参考：正确理解spark
　　一、序言
　　对于key-value类型RDD的两个api， reduceByKey与foldByKey，我们往往只是简单的知道它们不同的点就是foldByKey比reduceByKey多了一个初始值，但是仅仅知道这么一点是完全不够的，我们还是不知道怎么合理的去用这两个api，所以有必要对两个api做一个详细的对比。我们接下来先从RDD的另外两个action api reduce和fold入手，然后慢慢的分析reduceByKey与foldByKey使用场景
　　二、RDD action Api -- reduce 和 fold
　　我们从如下两个方面来对比这两个api
　　1、分别对空的RDD应用这两个Api，如下：
//创建一个空的RDD
val emptyRdd = sc.emptyRDD[Int]
//对空的RDD进行reduce会报如下错
//java.lang.UnsupportedOperationException: empty collection
//  at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$36.apply(RDD.scala:1027)
emptyRdd.reduce(_ + _)
//对空的RDD进行fold则不会，而是返回0
emptyRdd.fold(0)(_ + _) // res1: Int = 0　　2、从产生临时对象的多少来区别这两个api
//创建一个RDD，RDD的类型为ArrayBuffer
val testRdds = sc.parallelize(Seq(ArrayBuffer(0, 1, 3), ArrayBuffer(2, 4, 5)))
//对testRdds进行reduce，如下：
//会产生很多的中间临时对象 因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象
testRdds.reduce(_ ++ _)
//对testRdds进行fold，如下：
// ArrayBuffer只初始化一次，每次都是将ArrayBuffer append到之前的ArrayBuffer中，不会产生中间临时对象
testRdds.fold(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem)　　从上面可以看出，fold操作将会产生很少的中间对象，如果中间对象太多了的话，则会导致gc频繁，进而影响性能，所以使用reduce和fold的时候，我们需要考虑下会不会产生很多的临时对象，如果会的话，我们能不能使用fold操作来避免产生过多的中间对象
　　三、key-value类型RDD api -- reduceByKey与foldByKey
　　我们也是从如下两个方面来考虑：
　　1、对空的RDD应用这两个Api，行为是一致的，都是返回0
val emptyKeyValueRdd = sc.emptyRDD[(Int, Int)]
emptyKeyValueRdd.reduceByKey(_ + _).collect  //0
emptyKeyValueRdd.foldByKey((0))(_ + _).collect  //0　　2、从产生临时对象的多少来区别这两个api
//构建一个key-value类型的RDD
val testPairRdds = sc.parallelize(Seq(("key1", ArrayBuffer(0, 1, 3)),
  ("key2", ArrayBuffer(2, 4, 5)), ("key1", ArrayBuffer(2, 1, 3))))
//对testPairRdds应用reduceByKey, 如果相同的key的数据特别多的话，也会产生特别多的临时对象，因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象
testPairRdds.reduceByKey(_ ++ _).collect()
//对testPairRdds应用foldByKey,对每一个key来说，ArrayBuffer只初始化一次，每次都是将ArrayBuffer append到之前的ArrayBuffer中，不会产生中间临时对象
testPairRdds.foldByKey(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem).collect()　　从上面也可以看出，foldByKey与reduceByKey的应用场景其实和fold与reduce是一样的，所以对于中间临时对象产生的情况下，我们需要在foldByKey与reduceByKey两者中选择好
　　对于RDD其他的api的原理及其使用的时候需要注意的点，可以参考：spark core RDD api原理详解