Spark集群安装（一）

death114

　　需要的软件包：
　　Spark1.0.2
　　Scala2.10.4
　　
　　一、安装Scala
Rpm –ivh scala-2.10.4.rpm #安装scala
Scala  –version                    #检查刚刚安装的scala版本
Scala code runner version 2.10.4 -- Copyright 2002-2013,LAMP/EPFL



[hadoop@hadoop2 ~]$ scala  #进入scala命令行交互模式

做简单运算看下运行结果：

至此，scala安装完成。其余节点安装scala同上。


　　二、安装Spark
tar -zxvf spark-1.0.2-bin-hadoop1.tgz  #解压文件
配置环境变量：

配置spark
cp spark-env.sh.template spark-env.sh  #拷贝文件
配置spark-env.sh文件，添加如下信息：

vim slaves     #将所有节点加入到slaves中。
其余节点saprk配置同上


　　三、启动spark
[hadoop@hadoop1 sbin]$ ./start-all.sh   #启动spark集群
使用JPS查看节点启动进程：


可以发现进程中，多了两个进程master和worker。
同样方法查看其余节点：

可以发现，节点多了一个进程worker。


　　四、访问WEB界面，看集群情况
浏览器输入http://192.168.101.10:8080/：



至此，安装全部完成。