China Azure 在HDinsight 中使用Spark 功能
国际版的Azure 已经可以正常支持Spark应用，但是当我们在使用中国版的Azure的时候，在Azure中国版官网里面发现了有对Spark服务的介绍，而真正去使用的时候，却发现无法创建。只有Storm，HBase和Hadoop。如图：http://s3.运维网.com/wyfs02/M01/7A/3E/wKioL1al8UfgY0ugAAA4aLYg9AE593.jpg
那问题来了，中国版Azure的HDInsight是否支持Spark？
答案当然可以，不过需要自定义一下：
[*] 首先我们需要创建一个PAAS 层SQL Database 用来用以存储Hive、Oozie的元数据。
http://s3.运维网.com/wyfs02/M02/7A/3F/wKiom1al8QTRng7GAACJIOS71Rg569.png
[*] 创建基于PAAS 层的HADOOP 集群：
HDInsight 3.1 clusters会安装Spark 1.0.2
HDInsight 3.2 clusters会安装Spark 1.2.0
http://s3.运维网.com/wyfs02/M02/7A/3E/wKioL1al8UiT-qhGAACCJVoE0NI960.png
[*] 配置集群节点和虚拟机：
http://s3.运维网.com/wyfs02/M00/7A/3F/wKiom1al8QXjeUJ6AABixyglQjk987.png
[*] 配置访问用户，勾选配置Oozie云存储：
http://s3.运维网.com/wyfs02/M00/7A/3E/wKioL1al8UmggjvRAAB-2xP9HFU909.png
[*] 配置Oozie存储SQL Database数据库：
http://s3.运维网.com/wyfs02/M01/7A/3F/wKiom1al8QaComu0AAB40420mSk521.png
[*] 配置存储：
http://s3.运维网.com/wyfs02/M01/7A/3E/wKioL1al8UnxIvaDAABQe5ipduI977.png
[*] 使用脚本安装Spark：
http://s3.运维网.com/wyfs02/M02/7A/3F/wKiom1al8QeAxA5PAAA_iGTDzuo483.jpg
[*] 插入Spark 配置脚步：
https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv03/spark-installer-v03.ps1 。节点类型选择"仅头结点"
http://s3.运维网.com/wyfs02/M02/7A/3E/wKioL1al8UqDxgNbAAB4TzUums4601.png
最后点击"创建"按钮即可。
页:
[1]