使用ARM模板在Azure中国大规模部署DCOS集群

gyts62

　　容器技术是目前非常流行的技术，尤其是在以Docker作为容器引擎的推动下，让容器的轻量级，可移植，自包含，隔离性等的上了一个新的台阶，目前谈及Dev/Ops，CI/CD很少能够绕过Docker的。
　　Azure在去年就推出了容器服务ACS，以其对开源的全面兼容性，开放性，最全面的编排器（DC/OS， Kubernetes，Swarm）支持而广受好评，但在中国和很多地区，ACS并没有上线，如何在这些地区快速大规模部署容器服务一直是个问题。
　　而微软更进一步，在11月初，进一步开源了ACS的核心引擎acs-engine，让开发人员可以通过acs-engine快速的生成可以在所有地区当然包括中国部署的ARM模板，并且并不依赖于ACS Container resource provider，对于广大开发和维护人员来说是一大喜讯，不必像我一样为了在Azure中国上部署DC/OS cluster而辛苦调试修改脚本和ARM模板了：）
　　新闻：http://www.forbes.com/sites/janakirammsv/2016/11/07/microsoft-open-sources-azure-container-service-adds-support-for-kubernetes/#48e955d270ad
　　Acs-engine官方地址：https://github.com/Azure/acs-engine
　　很多牛人已经写了一些非常棒的acs-engine的文章，本文是按照我实际测试整理而成的，将碰到的一些问题，解决办法等记录下来，希望对于大家快速部署有所帮助。
　　首先简单了解一下本次DC/OS集群的部署架构图，我们有一个master的高可用集，master可以选择1，3，5台虚拟机；有一个public agent的VMSS集合主要部署面向互联网用户访问的应用；一个private agent的VMSS，无法公网访问，运行一些默认的计算：

安装配置acs-engine

1.在Go语言官网下载适合你的操作系统的安装包，例如Ubuntu下载安装go 语言包：　　wget https://storage.googleapis.com/golang/go1.7.3.linux-amd64.tar.gz
　　官网地址：https://golang.org/dl/

　　2.Linux下在你的用户目录下建立一个子目录gopath，并且添加如下行到你的$HOME/.profile文件：
　　    export PATH=$PATH:/usr/local/go/bin
　　export GOPATH=$HOME/gopath

3.进入你的gopath目录，下载acs-engine并更新相关组件：　　go get github.com/Azure/acs-engine
　　go get all

4.打开parts下的dcosprovision.sh文件，你可以看到很多包都需要从国外下载，由于GFW的原因，你的安装会变得非常缓慢，或者失败，首先下载下述包到你的本地服务器，建立镜像：　　从以下地址：
　　https://dcosio.azureedge.net/dcos/testing/bootstrap
　　https://az837203.vo.msecnd.net/dcos-deps
　　下载下面的包到你的中国的镜像服务器：
　　5b4aa43610c57ee1d60b4aa0751a1fb75824c083.bootstrap.tar.xz（约551M）
　　docker-engine_1.11.2-0~xenial_amd64.deb
　　ipset_6.29-1_amd64.deb
　　libipset3_6.29-1_amd64.deb
　　libltdl7_2.4.6-0.1_amd64.deb
　　unzip_6.0-20ubuntu1_amd64.deb

5.进入到你的acs-engine根目录，build你的acs-engine：　　cd $GOPATH/src/github.com/Azure/acs-engine
　　go build
　　./acs-engine

6.可以看到,如果要产生json模版，你需要的是一个ClusterDefinitionFile，在example下有各种例子文件，我们以dcos为例，可以看到，编辑example/dcos.json,修改如下红色部分并保存:　　"masterProfile": {
　　"count": 1,
　　"dnsPrefix": "dcosmaterdemo",
　　"vmSize": "Standard_D2"
　　},
　　{
　　"name": "agentpublic",
　　"count": 3,
　　"vmSize": "Standard_D2",
　　 "dnsPrefix": "dcosagentdemo",
　　"ports": [
　　80,
　　443,
　　8080
　　]
　　}
　　"publicKeys": [
　　{
　　 "keyData": "YOURKEY"
　　}
　　]

7.运行acs-engine，产生你的ARM template　　./acs-engine examples/dcos.json

8.这一步很重要，需要你手工打开生成的azuredeploy.json文件，修改下面的CDN下载源为你的中国镜像地址，否则你的部署会失败：　　https://dcosio.azureedge.net/dcos/testing/bootstrap
　　https://az837203.vo.msecnd.net/dcos-deps

9.剩下的事情就比较好办了，使用Azure CLI来部署你的DC/OS集群：　　#使用Azure CLI登陆中国的Azure：
　　azure login -u USERNAME -p PASSWORD -e AzureChinaCloud

　　#创建resource group：
　　azure group create --name="stevenacsdcosgp" --location="China East"

　　#执行部署：
　　azure group deployment create --name="mydcoschinadeploy" --resource-group="stevenacsdcosgp" --template-file="./_output/DCOS184-10726092/azuredeploy.json" --parameters-file="./_output/DCOS184-10726092/azuredeploy.parameters.json"

10.部署完成后，你可以在新的portal里面看到部署成功信息，在我的实际环境里面部署，整个过程只需要8分多种，请记录下下图黄色高亮显示的master地址：

11.然后我们需要连接到dc/os的集群，使用上图中的masterQFDN地址，端口为2200,使用你的private key file（ppk文件），建立tunnel端口为80，进行连接：

　　Auth配置：

　　Tunnel配置：

12.连接之后，打开你的浏览器，输入http://localhost/,看到如下DC/OS的dashboard，你就可以愉快的和Docker，DC/OS玩耍了：

　　TIPS：如果你碰巧很不幸，配置SSH Tunnel的时候，无法链接，检查putty event log，看到Permission Denied错误，我已经找到了解决办法，为节约你的时间，请按照如下方法执行：

　　检查netstat -aon | findstr "80"
　　你会看到有一些服务会使用ntoskrnl占用80端口，比如ws-Management导致本地tunnel失败：

　　net stop http

　　从上述文档可以看出，利用acs-engine可以非常方便的生成适用于中国Azure大规模部署的ARM模板，但其实有了这个模板，简单修改参数，就可以重复部署了，没必要每次都生成，所以我把生成好的模板已经放到了Github上，想在中国部署的同学：
　　https://github.com/kingliantop/azurelabs/tree/master/AzureChinaARMTemplate/mesos-marathon-vmss-china

• 克隆或者下载当前所有文件
  
• 修改azuredeploy.json中的http://YOURCHINASERVER为你自己的服务器，
  
• 修改azuredeploy.parameters.json中的所有标为CHANGIT的地方
  
• 修改deploy.ps1文件中deployName作为你的资源组名称
  
• 登陆你的Azure账户，使用ARM模式，执行deploy.ps1部署
  
• Linux和Mac用户也可以使用Azure CLI部署