dream789 发表于 2018-5-28 10:45:37

windows 基于docker下的 spark 开发环境搭建

　　docker toolbox
　　https://www.docker.com/products/docker-toolbox
　　

　　spark
　　https://hub.docker.com/r/singularities/spark/~/dockerfile/
　　

　　# start-hadoop-namenode
　　# hadoop fs -mkdir /user
　　# hadoop fs -mkdir /user/root/
　　# hadoop fs -put ./README.md /user/root
　　

　　# start-spark
　　# start-spark worker
　　# spark-shell
　　# spark-shell --master spark://a60b8c8f9653:7077
　　

　　scala> val lines = sc.textFile("file:///usr/local/spark-2.1.0/README.md")
　　scala> val lines = sc.textFile("hdfs:///usr/local/spark-2.1.0/README.md")
　　lines: org.apache.spark.rdd.RDD = file:///usr/local/spark-2.1.0/README.md MapPartitionsRDD at textFile at <console>:24
　　scala> lines.count()
　　res0: Long = 104
　　scala> lines.saveAsTextFile("hdfs:///user/root/README2.md")// 保存到hdfs
　　
页: [1]
查看完整版本: windows 基于docker下的 spark 开发环境搭建