运维网's Archiver
论坛
›
spark
› 王家林每日大数据语录Spark篇0011(2015.11.2于深圳)
wstlwl
发表于 2019-1-31 06:31:41
王家林每日大数据语录Spark篇0011(2015.11.2于深圳)
RDD的saveAsTextFile方法会首先生成一个MapPartitionsRDD,该RDD通过雕工PairRDDFunctions的saveAsHadoopDataset方法向HDFS等输出RDD数据的内容,并在在最后调用SparkContext的runJob来真正的向Spark集群提交计算任务。
页:
[1]
查看完整版本:
王家林每日大数据语录Spark篇0011(2015.11.2于深圳)