sdchy 发表于 2019-1-31 08:14:04

sparkStreaming实现wordcount

　　import org.apache.spark.SparkConf
　　import org.apache.spark.streaming.Seconds
　　import org.apache.spark.streaming.StreamingContext
　　

　　objectWordCount extends App {
　　val conf=new SparkConf().setMaster("local").setAppName("wordcount")
　　val streamContext=new StreamingContext(conf,Seconds(5))
　　val lines=streamContext.socketTextStream("myhadoop1", 9999)
　　//监控主机的一个端口用命令nc -lk 9999
　　lines.flatMap {_.split(" ")}.map {(_,1)}.reduceByKey(_+_).print()
　　streamContext.start()
　　streamContext.awaitTermination()
　　}
　　

　　




页: [1]
查看完整版本: sparkStreaming实现wordcount