spark编译安装及部署

hao1nan

　　1、下载并编译spark源码
　　下载spark http://spark.apache.org/downloads.html 我下载的是1.2.0版本
　　解压并编译，在编译前，可以根据自己机器的环境修改相应的pom.xml配置，我的环境是hadoop2.4.1修改个小版本号即可，编译包括了对hive、yarn、ganglia等的支持

tar xzf ~/source/spark-1.2.0.tgz
cd spark-1.2.0
vi pom.xml
./make-distribution.sh --name 2.4.1 --with-tachyon --tgz -Pspark-ganglia-lgpl -Pyarn -Pkinesis-asl -Phive-0.13.1 -Phive-thriftserver -Phadoop-2.4 -Djava.version=1.6 -Dhadoop.version=2.4.1 -DskipTests　　
　　注：spark每个版本发布后，可能都会对pom.xml配置做出相应的调整，请根据pom.xml文件中的配置，对应调整编译时的参数。
　　2、spark相关配置

　　将编译后的.tgz文件解压，配置环境变量及spark配置文件，如下：

　　环境变量：（仅列出spark相关的配置）
export SCALA_HOME=/home/ocdc/bin/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH
export SPARK_HOME=/home/ocdc/bin/spark-1.2.0-bin-2.4.1
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin:　　spark-env.sh

export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=17077
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_INSTANCES=1
#配置master的HA时，需要配置此项，ZK需要提前启动
#export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,node1:2181,node2:2181"　　slaves

node1
node2
node3　　spark-default.conf

spark.master                     spark://master:17077
spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://cluster1:8021/eventLogDir
spark.executor.memory         512m
spark.driver.memory              512m　　复制spark到各个节点

scp -r ~/bin/spark-1.2.0-bin-2.4.1/ ocdc@node1:~/bin/
scp -r ~/bin/spark-1.2.0-bin-2.4.1/ ocdc@node2:~/bin/
scp -r ~/bin/spark-1.2.0-bin-2.4.1/ ocdc@node3:~/bin/　　3、启动spark（master单点）

cd $SPARK_HOME
sbin/start-all.sh

　　4、spark (基于zookeeper的master节点HA)

　　配置zookeeper集群，使用master、node1、node2三个节点，有关zookeeper集群的配置此处略过。三个节点启动zookeeper

zkServer.sh start　　spark-env.sh配置文件增加zookeeper相关配置(注：因为HA后，master可以为多个，所以在配置文件中不可指定SPARK_MASTER_IP，否则无法正常启动)
#export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=17077
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_INSTANCES=1
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=master:2181,node1:2181,node2:2181"　　master节点启动spark
sbin/start-all.sh　　node1节点启动HA

sbin/start-master.sh

　　5、启动spark-shell
　　1)单个master进程启动

bin/spark-shell --master spark://master:17077　　2）HA模式启动

bin/spark-shell --master spark://master:17077,node1:17077　　6、启动history-server
　　在node1节点启动history-server,相关配置已经在spark-defaults.conf中配置

sbin/start-history-server.sh hdfs://cluster1:8020/eventLogDir