Mac上搭建spark开发环境
本文将介绍在Mac os上搭建Spark开发环境。在安装spark环境之前，需要确保配置相应的java环境，jdk或者jre的版本需要在1.8.0版本以上。
(1)首先下载开发IDE，目前比较流行的IDE是IntelliJ IDEA,可以在官网下载使用，下载地址：https://www.jetbrains.com/idea/。
http://i2.运维网.com/images/blog/201808/23/8be155c7590640fdfbad22206bc62eda.jpg
(2)Spark环境搭建：
mac上启动终端，使用brew install scala命令(brew是一个软件包管理工具,类似于centos下的yum或者ubuntu下的apt-get)，进行Scala的安装下载，如下：
http://i2.运维网.com/images/blog/201808/23/22567be15a275f912544e200966fcb41.jpg
到此scala的环境已经安装成功，现在我们从spark的官网下载spark相关环境，网址为：http://spark.apache.org/
http://i2.运维网.com/images/blog/201808/23/f673c6804e1492cfee4555d732b197dc.jpg
下载完spark，进入到下载的spark包的文件夹下，执行tar -zxvf spark-2.3.1-bin-hadoop2.7.tar。
安装完scala以及spark后，进行相关环境变量的配置，执行vim /etc/profile命令，在其后追加如下环境变量：
export SCALA_HOME=/usr/local/Cellar/scala/2.12.4
export PATH=$PATH:$SCALA_HOME/bin
export SPARK_HOME=/Users/mengxin/Downloads/spark-2.3.1-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
(3)进行本机ssh配置，主目录执行以下命令：
ssh-keygen -t rsa -P ""
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
执行过程如下：
http://i2.运维网.com/images/blog/201808/23/7761e6784cd7a15e3cbb1454ea280f40.jpg
（4）检测下spark是否能启动
进入spark解压包下的sbin目录，执行./start-all.sh,如下图
http://i2.运维网.com/images/blog/201808/23/f1c337e89a6553fef1323c878f97938e.png
可以在local.out文件下查看相关的启动情况。
spark启动后，所启动的master以及worker进程其实就是就是jvm进程，我们可以用jps命令看一下。
http://i2.运维网.com/images/blog/201808/23/6e2c10243b953af1ab2cd7493aa93eb4.png
再用spark shell测试下，进入到spark安装包的bin目录下，如果出现如下界面，则说明spark安装环境已经大功告成了。
http://i2.运维网.com/images/blog/201808/23/0763021a1a67f81eb2eedca51f878ec0.jpg
页:
[1]