SPARK动态添加节点

yangcctv

　　spark集群使用hadoop用户运行,集群机器如下:

1	DEV-HADOOP-01	192.168.9.110	Master
2	DEV-HADOOP-02	192.168.9.111	Worker
3	DEV-HADOOP-03	192.168.9.112	Worker

　　

　　现在需要添加一台192.168.9.113 机器名DEV-HADOOP-04的节点作为Worker.需要执行一下操作:
　　

• 配置Master到新增节点hadoop用户的无密码登录
  
• 每个节点添加的/etc/hosts
  
• 安装JDK1.8.0_60
  
• 安装scala
  
  
  
  • 从Master拷贝scala scp -r scala-2.11.7 root@192.168.9.113:/data/server/
    
  • 设置环境变量 /etc/profile
    
    
    
    • export SCALA_HOME=/usr/scala/scala-2.11.7
      
    • 使配置生效 source /etc/profile
      
    
    
  • 更改scala-2.11.7的用户和组 chown -R hadoop:hadoop scala-2.11.7
    
  
  
• 安装spark
  
  
  
  • 从Master拷贝spark scp -r spark-1.5.0-bin-hadoop2.6 root@192.168.9.113:/data/server/
    
  • 配置环境变量 /etc/profile
    
    
    
    • export SPARK_HOME=/data/server/spark-1.5.0-bin-hadoop2.6
      
    • export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
      
    • 使配置生效 source /etc/profile
      
    
    
  
  
• 修改集群的slaves配置文件,新增新增节点DEV-HADOOP-03
  
• 启动新增节点
  
  
  
  • sbin/start-slave.sh spark://DEV-HADOOP-01:7077
    
  
  
• 新增节点启动验证
  
  
  
  • 执行jps命令,slave可以看到Worker进程
    
  
  
• 查看Spark UI
  
  
  
  • 看到Workers中有新增节点