【Docker篇四】Mesos+Zookeeper+Marathon+Docker群集管理平台

sweli

Apache Mesos概述
　　不同的分布式运算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任务往往需要的资源（内存，CPU，网络IO等）不同，它们运行在同一个集群中，会相互干扰，为此，应该提供一种资源隔离机制避免任务之间由资源争用导致效率下降,考虑到资源利用率，运维成本，数据共享等因素，公司一般希望将所有这些框架部署到一个公共的集群中，让它们共享集群的资源，并对资源进行统一使用，这样，便诞生了资源统一管理与调度平台,典型的代表就是mesos.

Apache Mesos工作原理
　　Apache Mesos采用了master/slave结构来简化设计，将master尽可能做的轻量级，仅保存了各种计算框架（Farmemork）和mesos slave的状态信息，这些状态容易在出现故障的时候被重构，除此之外，mesos还可以使用zookeeper解决master单点故障问题。
　　Mesos Master充当全局资源调度器角色，采用某种策略算法将某个slave上的空闲资源分配给某个Farmework，而各种Farmework则是通过自己的调度器向master注册进行接入Mesos Slave则是收集任务状态和启动各个Farmework和Executor。原理图如下：

实验环境

安装Apache Mesos
　　在每一台服务器上安装Apache Mesos服务，由于mesos安装等待时间较长，本文在实验环境下选择使用一台安装好mesos的虚拟机进行克隆，然后进行后续操作。

1、配置Java环境

• 由于软件需求，mesos运行环境需要在Linux内核版本为3.10以上才可使用。
  

　　cat /etc/redhat-release   //查看Linux版本
uname -r/a   //查看内核版本

• 解压jdk软件包
  

　　tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local
mv jdk1.8.0_91/ java

• 配置jdk环境变量
  

　　vim /etc/profile

export JAVA_HOME=/usr/local/java    //末尾追加
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

　　source /etc/profile

2、安装相关环境包

• 安装开发工具
  

　　yum groupinstall -y "Development Tools"

• 添加apache-maven源,为Mesos提供项目管理和构建自动化工具的支持。
  

　　wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

• 安装相关依赖包
  

　　yum install -y apache-maven python-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel apr-util-devel subversion-devel

• 配置WANdiscoSVN网络源
  

　　vim /etc/yum.repos.d/wandisco-svn.repo

[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco

• 配置Mesos环境变量
  

　　vim /etc/profile

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so
3、构建Mesos

　　wget http://www.apache.org/dist/mesos/0.25.0/mesos-0.25.0.tar.gz
　　tar zxvf mesos-0.25.0.tar.gz -C /opt/
mv mesos-0.25.0/ /root/
cd /root/mesos-0.25.0
mkdir build
cd /build    创建build为编译安装目录
../configure  执行安装程序
　　make              等待时间较长（需要服务器保持在线状态）
make check
make install

• 此处安装好mesos软件后即可克隆主机。
  

配置单台Mesos-master与Mesos-Slave
　　Mesos-Master负责维护slave群集的心跳，从slave提取资源信息。配置之前需要做好相应的解析工作。

1、配置Mesos-master

• 修改主机名称
  

　　hostnamectl set-hostname master
　　vim /etc/hosts

192.168.144.114 master    //此时只做单台master与slave，若遇多台则解析内容需要增加
192.168.144.119 slave1

　　bash 刷新生效主机名，或者重启服务器

• 创建master启动命令软连接
  

　　ln -sf /root/mesos-0.25.0/build/bin/mesos-master.sh /usr/sbin/mesos-master

• 启动mesos-master
  

　　mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0

--work_dir 指定工作目录
--log_dir  指定日志生成位置
--no-hostname_lookup 不指定域名解析
--ip=0.0.0.0 任意网段均可访问

• 本地验证访问mesos开启状态，浏览器打开http://192.168.144.114:5050/
  

2、配置Mesos-slave

• 修改主机名称
  

　　hostnamectl set-hostname slave1
vim /etc/hosts

192.168.144.114 master    //此时只做单台master与slave，若遇多台则解析内容需要增加
192.168.144.119 slave1

• 创建slave启动命令软连接
  

　　ln -sf /root/mesos-0.25.0/build/bin/mesos-slave.sh /usr/sbin/mesos-slave

• 安装docker，由于slave需要接受master的调度执行容器运行，因此需要安装docker
  

　　yum install docker -y
systemctl start docker.service
systemctl enable docker.service

• 启动slave
  

　　mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=192.168.175.132:5050 --no-hostname_lookup --ip=0.0.0.0

--containerizers="mesos,docker"  添加容器参数，使docker的容器可以被配置去执行任务或者执行器。

• 启动slave后，再次访问mesos-matser，可以看到已有一台slave上线，且可看到详细信息。
  

配置多台Mesos-Master+Slave+zookeeper+marathon

1、配置多台Mesos-master

• 配置多台master方式与单台方式相同，唯一区别在于修改域名解析文件/etc/hosts
  
• 三台mesos-master配置完全相同，只是最后启动时需要指定本身IP这点不同
  

　　vim /etc/hosts

192.168.144.114 master
192.168.144.117 master1
192.168.144.118 master2
192.168.144.119 slave1
192.168.144.120 slave2

• 使用hostnamectl将主机名修改成master、master1和master2
  
• mesos-master配置完成暂时不要启动，当后面配置完、启动zookeeper后再启动
  

2、配置多台Mesos-slave

• 配置方式如同单台slave配置方式，只有/etc/hosts文件需要添加，并且也需要安装docker，并且启动服务。
  

　　vim /etc/hosts

192.168.144.114 master
192.168.144.117 master1
192.168.144.118 master2
192.168.144.119 slave1
192.168.144.120 slave2
3、在所有master上安装zookeeper

• 每一台master上的zookeeper配置文件都相同，配置文件修改也相同，需要指定有哪一些master安装了zookeeper
  

　　tar zxvf zookeeper-3.4.13.tar.gz -C /home/q/
　　cd zookeeper-3.4.13/
　　mv conf/zoo_sample.cfg conf/zoo.cfg    注意sample.cfg与zoo.cfg只能存在一个，只能识别一个cfg

• 在其中一台master上操作
  

　　cd /home/q/zookeeper-3.4.13/conf
　　vim zoo.cfg

dataDir=/home/q/zookeeper-3.4.6/data            //修改数据存放目录
dataLogDir=/home/q/zookeeper-3.4.6/datalog      //日志文件位置
server.1=192.168.144.114:2888:3888              //server后面跟上区分每一台master标识
server.2=192.168.144.117:2888:3888
server.3=192.168.144.118:2888:3888

• 将修改好的配置文件传输给其他master，切记先将原有sample配置文件重命名或者删除
  

　　scp zoo.cfg 192.168.144.117:/home/q/zookeeper-3.4.13/conf/
scp zoo.cfg 192.168.144.118:/home/q/zookeeper-3.4.13/conf/

• 为每台master设置标识
  

//在master主机上操作（/home/q/zookeeper-3.4.13/中）
mkdir data datalog
echo 1 > data/myid
cat data/myid
//在master1主机上操作（/home/q/zookeeper-3.4.13/中）
mkdir data datalog
echo 2 > data/myid
cat data/myid
//在master2主机上操作（/home/q/zookeeper-3.4.13/中）
mkdir data datalog
echo 3 > data/myid
cat data/myid

• 启动所有master上的zookeeper
  

cd /home/q/zookeeper-3.4.13/
//在master主机上启动服务
./bin/zkServer.sh start conf/zoo.cfg
//在master1主机上启动服务
./bin/zkServer.sh start conf/zoo.cfg
//在master2主机上启动服务
./bin/zkServer.sh start conf/zoo.cfg
//查看leader
./bin/zkServer.sh status

• 启动所有master和slave上的mesos服务
  

//master
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.114:2181/mesos --quorum=2   //想要在后台运行后面加上&>/dev/null &即可
//master1
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.117:2181/mesos --quorum=2
//master2
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.118:2181/mesos --quorum=2
-----------------------
//在slave1上
mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --no-hostname_lookup --ip=0.0.0.0
//在slave2上
mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --no-hostname_lookup --ip=0.0.0.0
4、在所有master上安装marathon

• 下载marathon软件压缩包
  

　　wget http://downloads.mesosphere.com/marathon/v0.15.2/marathon-0.15.2.tgz
　　tar zxvf marathon-0.15.2.tgz -C /home/q/

• marathon软件包不需要安装，解压后即可使用，所有master上安装好marathon后，每台启动方式如下
  
• 每台mastermarathon启动hostname后面跟上自己ip以及zookeeper区域所有服务器ip
  

./bin/start --hostname 192.168.144.114 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0
./bin/start --hostname 192.168.144.117 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0
./bin/start --hostname 192.168.144.118 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

• 　　测试
  http://192.168.144.114:8080/
  
  
• 建立test任务
  

　　查看任务执行情况。

使用mesos与marathon创建docker集群

　　vim nginx.json

{
"id":"/nginx",
"container":{
"type":"DOCKER",
"docker":{
"image":"nginx",
"network":"HOST",
"parameters":[],
"privileged":false,
"forcePullImage":false
}
},
"cpus":0.1,
"mem":32.0,
"instances":1
}

• 在其中一台master上新建终端执行
  

　　curl -X POST -H "Content-type:application/json" http://192.168.144.114:8080/v2/apps -d@nginx.json

• 在任务发布指定的slave上使用命令  ps aux | grep docker  查看到nginx正在下载
  

root       3668  0.0  0.6 121912 12872 pts/0    Sl+  10:20   0:00 /usr/bin/docker-current -H unix:///var/run/docker.sock pull nginx:latest

• 此时也可去master上的marathon网站去查看任务是已下发执行。
  

　　docker images

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
docker.io/nginx     latest              c82521676580        3 weeks ago         109 MB

　　docker ps -a

CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
9940ac858a3b        nginx               "nginx -g 'daemon ..."   3 minutes ago       Up 3 minutes                            mesos-0d21cffd-8a12-450d-b6ff-4d4befcdaad0-S1.89e29728-37cb-4ea3-9518-2d9741ba7618
　　测试其中一台slave
　　http://192.168.144.119访问到Nginx首页即实验完成。