spark集群搭建

zhangpengfei00

Spark集群环境搭建

2015年09月27日中秋节，祝中秋快乐团圆

1安装jdk
　　略
2安装scala
　　在http://www.scala-lang.org scala官网下载安装包，这里以scala-2.11.7为例：
1）下载scala-2.11.7.tgz
　　2）在目录下解压缩：
tar -xzvf scala-2.11.7.tgz

　　3）配置环境变量，在/etc/profile中添加以下的内容：
export SCALA_HOME=实际安装路径

export PATH=${SCALA_HOME}/bin:PATH
　　4) 使profile立即生效
Source /etc/profile

3配置SSH免密码登陆
　　略
　　 4安装hadoop
　　略
　　
5安装spark
　　下载 spark-1.0.0-bin-hadoop2.tgz
　　解压 tar -xzvf spark-1.0.0-bin-hadoop2.tgz
　　配置conf/spark-env.sh文件
　　
　　export JAVA_HOME=/home/spark/jdk1.7.0_45
　　export SCALA_HOME=/usr/etc/scala/scala-2.11.7
　　export SPARK_WORKER_MEMORY=2g
　　export MASTER=spark://192.168.217.140:7077
　　export SPARK_MASTER_IP=192.168.217.140
　　所有红色配置以实际安装路径为准
　　6启动集群
　　./sbin/start-all.sh
　　
　　7测试
　　sh spark-submit --master spark://192.168.217.140:7077 --class org.apache.spark.examples.SparkPi --name Spark-Pi --executor-memory 400M --driver-memory 512M /usr/etc/spark/spark-1.0.0-bin-hadoop2/lib/spark-examples-1.0.0-hadoop2.2.0.jar
　　Master（红色）用主机名的时候怎么都不行，换成master的ip地址就行了