SPARK入门

泰山神

package org.apache.spark.examples;　　

　　
import org.apache.spark.api.java.JavaPairRDD;
　　
import org.apache.spark.api.java.JavaRDD;
　　
import org.apache.spark.api.java.JavaSparkContext;
　　
import org.apache.spark.api.java.function.FlatMapFunction;
　　
import org.apache.spark.api.java.function.Function2;
　　
import org.apache.spark.api.java.function.PairFunction;
　　
import scala.Tuple2;
　　

　　
import java.util.Arrays;
　　
import java.util.List;
　　
import java.util.regex.Pattern;
　　

　　
public final class JavaWordCount {
　　
    private static final Pattern SPACE = Pattern.compile(" ");
　　

　　
    public static void main(String[] args) throws Exception {
　　
        if (args.length < 2) {
　　
            System.err.println("Usage: JavaWordCount  ");
　　
            System.exit(1);
　　
        }
　　

　　
        JavaSparkContext ctx = new JavaSparkContext(args[0],
　　
                "JavaWordCount",
　　
                System.getenv("SPARK_HOME"),
　　
                JavaSparkContext.jarOfClass(JavaWordCount.class));
　　
        JavaRDD lines = ctx.textFile(args[1], 1);
　　

　　
        JavaRDD words = lines.flatMap(
　　
                new FlatMapFunction() {
　　
                    @Override
　　
                    public Iterable call(String s) {
　　
                        return Arrays.asList(SPACE.split(s));
　　
                    }
　　
                });
　　

　　
        JavaPairRDD ones = words.map(
　　
                new PairFunction() {
　　
                    @Override
　　
                    public Tuple2 call(String s) {
　　
                        return new Tuple2(s, 1);
　　
                    }
　　
                });
　　

　　
        JavaPairRDD counts = ones.reduceByKey(
　　
                new Function2() {
　　
                    @Override
　　
                    public Integer call(Integer i1, Integer i2) {
　　
                        return i1 + i2;
　　
                    }
　　
                });
　　

　　
        List output = counts.collect();
　　
        for (Tuple2 tuple : output) {
　　
            System.out.println(tuple._1() + ": " + tuple._2());
　　
        }
　　
        System.exit(0);
　　
    }
　　
}