Spark1.3安装

爱死你了

环境：redhat6.2,cdh4.4
虚拟机：

域名	ip	角色
master	192.168.199.129	Master
slave1	192.168.199.130	Worker
slave2	192.168.199.131	Worker

 
 
软件包：
scala-2.10.1.tgz
spark-1.3.0-bin-cdh4.tgz
 
前提：安装好jdk,hadoop
安装路径：/home/hadoop/cdh44/
 
一。安装scala
   $ tar -zvxf 

scala-2.10.1.tgz

 

二。安装spark

    $ tar -zvxf 

spark-1.3.0-bin-cdh4.tgz

    $ cd 

spark-1.3.0-bin-cdh4/conf
    修改所有配置文件名，如图1：
 
    $ vi spark-env.sh 添加参数如下：
     export SCALA_HOME=/home/hadoop/cdh44/scala-2.10.1
     export HADOOP_HOME=/home/hadoop/cdh44/hadoop-2.0.0-cdh4.4.0
     export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
 
     SPARK_EXECUTOR_INSTANCES=2
     SPARK_EXECUTOR_CORES=1
     SPARK_EXECUTOR_MEMORY=400M
     SPARK_DRIVER_MEMORY=400M
     SPARK_YARN_APP_NAME="Spark 1.3.0"
     SPARK_MASTER_PORT=7077
     SPARK_MASTER_WEBUI_PORT=9090
     PARK_WORKER_DIR=$SPARK_HOME/work
     SPARK_WORKER_WEBUI_PORT=9091
      如图2
 
    $ vi slaves,添加两行，如下：
      slave01
      slave02
     
    $ 把scala,spark复制一份到slave01,slave02
        scp -r 

scala-2.10.1

 hadoop@slave1:/home/hadoop/cdh44
        scp -r 

scala-2.10.1

 hadoop@slave2:/home/hadoop/cdh44
        scp -r spark-1.3.0-bin-cdh4 hadoop@slave1:/home/hadoop/cdh44
        scp -r spark-1.3.0-bin-cdh4 hadoop@slave2:/home/hadoop/cdh44
 

    master,slave01,slave02分别设置环境变量

        export SCALA_HOME=/home/hadoop/cdh44/scala-2.10.1

        export PATH=$SCALA_HOME/bin:$PATH

        export SPARK_HOME=/home/hadoop/cdh44/spark-1.3.0-bin-cdh4

        export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

        source /etc/profile

三。启动spark
    $ start-all.sh
    $ jps 分别在三台机器上查看进程
     如图3、图4、图5
     在浏览器查看状态
    http://192.168.199.129:9090
   如图6