SPARK standlone安装配置
集群一共有3台机器,集群使用hadoop用户运行,3台机器如下:1DEV-HADOOP-01192.168.9.1102DEV-HADOOP-02192.168.9.1113DEV-HADOOP-03192.168.9.112
[*] 配置集群间hadoop用户的无密码登录
[*] 配置每台机器的/etc/hosts
[*] 安装JDK1.8.0_60
[*] 安装scala
[*] 下载scala-2.11.7.tar
[*] 把scala-2.11.7.tar解压到/data/server目录
[*] 设置环境变量 /etc/profile
[*] export SCALA_HOME=/usr/scala/scala-2.11.7
[*] 使配置生效 source /etc/profile
[*] 安装spark
[*] 下载spark-1.5.0.tar
[*] 把spark-1.5.0.tar解压到/data/server目录
[*] 配置环境变量 /etc/profile
[*] export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6
[*] export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
[*] 使配置生效 source /etc/profile
[*] 修改spark配置文件
[*] spark-env.sh配置文件
[*] export SCALA_HOME=/data/server/scala-2.11.7
[*] export JAVA_HOME=/usr/java/jdk1.8.0_60/
[*] export SPARK_MASTER_IP=DEV-HADOOP-01
[*] export SPARK_WORKER_MEMORY=2048m
[*] slaves配置文件
[*] DEV-HADOOP-02
[*] DEV-HADOOP-03
[*] 启动spark集群
[*] sbin/start-all.sh
[*] 集群启动验证
[*] 执行jps命令,master节点可以看到Master进程,slave可以看到Worker进程
[*] 查看Spark UI
[*] http://192.168.9.110:8080/
[*] 关闭集群
[*] sbin/stop-all.sh
页:
[1]