设为首页 收藏本站
查看: 1618|回复: 0

[经验分享] Spark集群简单安装流程

[复制链接]

尚未签到

发表于 2019-1-30 10:45:16 | 显示全部楼层 |阅读模式
  Spark集群部署
  一、准备工作
  准备3台机器创建集群,主机名及IP地址为
Master  192.168.2.240
Slave1  192.168.2.241
Slave2  192.168.2.242
  下载软件
Scala:  https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz
Spark:  http://mirrors.hust.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz
JDK:
http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz
  二、环境配置
  2.1、配置ssh免密码登录
  在master主机上执行以下命令
ssh-keygen -t rsa       #创建公钥和私钥
ssh-copy-id slave1      #把私钥文件上传到slave1和slave2,第一次需要输入密码验证。
ssh-copy-id slave2
完成以上操作,从master登录slave1,slave2就不用输入密码了。
  2.2、安装JDK
解压jdk安装包
tar -zxf jdk-8u151-linux-x64.tar.gz -C /usr/local/
ln -sv /usr/local/jdk_1.8.0_151 jdk
  vi /etc/profile.d/jdk.sh
export JAVA_HOME=/usr/local/jdk/
export PATH=$PATH:$JAVA_HOME/bin
  chmod 755 /etc/profile.d/jdk.sh
. /etc/profile.d/jdk.sh
  检查Java版本
java -version
java version "1.7.0_75"
Java(TM) SE Runtime Environment (build 1.7.0_75-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.75-b04, mixed mode)
  2.3、安装Scala
解压安装包
tar -zxf scala-2.12.3.tgz -C /us    r/local
  vi /etc/profile.d/scala.sh
export SCALA_HOME=/usr/local/scala-2.12.3
export PATH=$PATH:$SCALA_HOME/bin
  chmod 755 /etc/profile.d/scala.sh
. /etc/profile.d/scala.sh
  scala -version
Scala code runner version 2.12.3 -- Copyright 2002-2013, LAMP/EPFL
  Scala环境配置完成。
  三、开始按Spark集群
  解压安装包
tar -zxf spark-2.2.0-bin-hadoop2.6.tgz -C /opt
cd /opt
mv spark-2.2.0-bin-hadoop2.6 spark-2.2.0
  配置Spark环境
cd /opt/spark-2.2.0/conf/
cp spark-env.sh.template spark-env.sh
  spark-env.sh添加一下内容
export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala-2.11.0/
export HADOOP_HOME=/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop/
export HADOOP_CONF_DIR=/opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop/etc/hadoop/
export SPARK_MASTER_IP=master
export SPARK_LOCAL_DIRS=/opt/spark-2.2.0
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
  变量说明

  • JAVA_HOME:Java安装目录
  • SCALA_HOME:Scala安装目录
  • HADOOP_HOME:hadoop安装目录
  • HADOOP_CONF_DIR:hadoop集群的配置文件的目录
  • SPARK_MASTER_IP:spark集群的Master节点的ip地址
  • SPARK_WORKER_MEMORY:每个worker节点能够最大分配给exectors的内存大小
  • SPARK_WORKER_CORES:每个worker节点所占有的CPU核数目
  • SPARK_WORKER_INSTANCES:每台机器上开启的worker节点的数目
  配置slave主机
cp slaves.template slaves
  在slaves文件中添加slave主机
Slave1
Slave2
  将配置好的spark-2.2.0文件夹分发给所有的slave主机
scp -rp  spark-2.2.0 slave1:/opt
scp -rp  spark-2.2.0 slave2:/opt
  启动Spark集群
/opt/spark-2.2.0/sbin/start-all.sh
  验证Spark是否启动成功,通过jps命令
Master应有master进程
8591 Master
  Slave应有Worker进程
1694 Worker
  Spark Web管理页面地址: http://master:8080/





运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-669519-1-1.html 上篇帖子: spark集成hive 下篇帖子: SPARK动态添加节点
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表