SPARK standlone安装配置

kinila

　　集群一共有3台机器,集群使用hadoop用户运行,3台机器如下:

1	DEV-HADOOP-01	192.168.9.110
2	DEV-HADOOP-02	192.168.9.111
3	DEV-HADOOP-03	192.168.9.112

　　

• 　　配置集群间hadoop用户的无密码登录
  
• 　　配置每台机器的/etc/hosts
  
• 　　安装JDK1.8.0_60
  
• 　　安装scala
  
  
  
  • 　　下载scala-2.11.7.tar
    
  • 　　把scala-2.11.7.tar解压到/data/server目录
    
  • 　　设置环境变量 /etc/profile
    
    
    
    • 　　export SCALA_HOME=/usr/scala/scala-2.11.7
      
    • 　　使配置生效 source /etc/profile
      
    
    
  
  
• 　　安装spark
  
  
  
  • 　　下载spark-1.5.0.tar
    
  • 　　把spark-1.5.0.tar解压到/data/server目录
    
  • 　　配置环境变量 /etc/profile
    
    
    
    • 　　export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6
      
    • 　　export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
      
    • 　　使配置生效 source /etc/profile
      
    
    
  • 　　修改spark配置文件
    
    
    
    • 　　spark-env.sh配置文件
      
      
      
      • 　　export SCALA_HOME=/data/server/scala-2.11.7
        
      • 　　export JAVA_HOME=/usr/java/jdk1.8.0_60/
        
      • 　　export SPARK_MASTER_IP=DEV-HADOOP-01
        
      • 　　export SPARK_WORKER_MEMORY=2048m
        
      
      
    • 　　slaves配置文件
      
      
      
      • 　　DEV-HADOOP-02
        
      • 　　DEV-HADOOP-03
        
      
      
    
    
  
  
• 　　启动spark集群
  
  
  
  • 　　sbin/start-all.sh
    
  
  
• 　　集群启动验证
  
  
  
  • 　　执行jps命令,master节点可以看到Master进程,slave可以看到Worker进程
    
  
  
• 　　查看Spark UI
  
  
  
  • 　　http://192.168.9.110:8080/
    
  
  
• 　　关闭集群
  
  
  
  • 　　sbin/stop-all.sh