Yum安装mesos+zookeeper+marathon管理docker集群
Yum安装mesos+zookeeper+marathon管理docker集群Apache-Mesos简介
Apache-Mesos是一款基于多资源(内存、CPU、磁盘、端口等)调度的开源集群管理套件，能使容错和分布式系统更加容易使用。官方网站http://mesos.apache.org/,软件能够自由下载使用。
Apache-Mesos工作原理
Apache-Mesos采用Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存各种计算框架(Framework)和Mesos Slave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还使用Zookeeper解决Master单点故障的问题。
Apache-Mesos基本术语
Mesos Master:负责管理各个Framework和Slave，并将Slave上的资源分配给各个Framework。
Mesos Slave：负责管理本节点上的各个Mesos Task，为各个Executor分配资源。
Framework：计算机框架，如:Hadoop、Spark等，可以通过MesosSchedulerDiver接入Mesos。
Executor：执行器，在Mesos Slave上安装，用于启动计算框架中的Task。
Zookeeper简介
ZooKeeper是用来给集群服务维护配置信息，域名服务，提供分布式同步和提供组服务。所有这些类型的服务都使用某种形式的分布式应用程序。ZooKeeper是一个分布式的，开放源码的协调服务，是的Chubby一个的实现，是Hadoop和Hbase的重要组件。
ZooKeeper角色
领导者（leader）：领导者负责投票发起和决议，更新系统状态
跟随者（follwoer）：follower用于接收客户请求并向客户端返回结果，在选主过程中参与投票
观察者：ObServer可以接受客户端连接，将写请求转发给leader节点，但ObServer不参加投票过程，只同步leader的状态，ObServer的目的是为了拓展系统，提高读取速度。
客户端：请求发起方
服务器架构
主机名
IP地址
安装软件包
master
172.16.10.138
docker、mesos-master、mesos-slave、marathon、zookeeper
slave
172.16.10.147
docker、mesos-slave、zookeeper
[*]查看Linux系统版本及内核版本信息（本实验需内核版本在3.10及以上）
cat /etc/redhat-release //查看系统版本
uname -r //查看内核版本信息
http://i2.运维网.com/images/blog/201808/20/79ca9605e8e37336b27a16c415a769c0.png
[*]关闭两台服务器的防火墙及SELinux
systemctl stop firewalld.service
systemctl disable firewalld.service //禁止开机启动防火墙
setenforce 0
服务架构部署
[*]修改主机名及hosts解析文件
vim /etc/hosts //两台服务器都进行修改
172.16.10.138 master
172.16.10.147 slave
hostnamectl set-hostname master //master服务器修改主机名
hostnamectl set-hostname slave //slave服务器修改主机名
修改完毕后需重启服务器使配置生效
[*]配置安装Java环境
rpm -ivh jdk-8u171-linux-x64.rpm //rpm一键安装Java环境包
java -version //查看java环境
http://i2.运维网.com/images/blog/201808/20/13ec2d67e3e820041a1dae7d354ab9df.png
部署mesos
[*]master服务器上安装部署mesos服务
rpm -ivh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm //下载mesosphere仓库
yum -y install mesos //安装mesos服务
http://i2.运维网.com/images/blog/201808/20/74e7bea7b84d1a522c62c1cc33bb4731.png
[*]安装docker服务
yum -y install docker
systemctl start docker.service //开启docker服务
systemctl enable docker.service //开机自启动服务
docker pull nginx //下载nginx镜像
http://i2.运维网.com/images/blog/201808/20/58322a6fe2b7db390a24afb7fe9c852c.png
部署zookeeper服务
[*]解压zookeeper软件，安装配置
mkdir /zoo
tar zxvf zookeeper-3.4.6.tar.gz -C /zoo
cd /zoo/
ln -s zookeeper-3.4.6/ zookeeper
cd zookeeper/conf/
grep -v "#" zoo_sample.cfg > zoo.cfg
vim zoo.cfg //修改配置文件
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zoo/zookeeper/data //修改zookeeper数据文件存放目录
clientPort=2181 //端口
server.1=172.16.10.138:2333:3222
server.2=172.16.10.147:2333:3222
[*]创建zookeeper的数据文件存放目录及myid文件
mkdir ../data
echo 1 > ../data/myid
cat ../data/myid
http://i2.运维网.com/images/blog/201808/20/0060767791589be2373e324d1d9460c8.png
[*]开启zookeeper服务，查看状态
/zoo/zookeeper/bin/zkServer.sh start//开启zookeeper服务
/zoo/zookeeper/bin/zkServer.sh status //查看状态信息
http://i2.运维网.com/images/blog/201808/20/708e8042f29815d2b259393871127351.png
部署slave服务器
[*]slave服务器上安装部署mesos服务
rpm -ivh http://repos.mesosphere.com/el/7/noarch/RPMS/mesosphere-el-repo-7-1.noarch.rpm //下载mesosphere仓库
yum -y install mesos //安装mesos服务
[*]安装docker服务
yum -y install docker
systemctl start docker.service //开启docker服务
systemctl enable docker.service //开机自启动服务
docker pull nginx //下载nginx镜像
http://i2.运维网.com/images/blog/201808/20/abaa1750b3e0f480c5192d3382f9387d.png
[*]安装配置zookeeper服务
# mkdir /zoo
# tar xf zookeeper-3.4.6.tar.gz -C /zoo //解压zookeeper软件包至/zoo目录下
# cd /zoo/
# ls
zookeeper-3.4.6
# ln -s zookeeper-3.4.6/ zookeeper /创建软链接
# cd zookeeper/conf/
# grep -v "#" zoo_sample.cfg > zoo.cfg //反向过滤zoo_sample.cfg的配置文件并且重定向生成zoo.cfg
# vim zoo.cfg //修改zoo.cfg配置文件
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/zoo/zookeeper/data //修改zookeeper数据文件存放目录
clientPort=2181 //端口
server.1=172.16.10.138:2333:3222
server.2=172.16.10.147:2333:3222
# mkdir ../data //创建数据存放目录
# echo 2 > ../data/myid //在数据存放目录下创建myid文件
# cat ../data/myid //查看验证myid文件
2
[*]开启zookeeper服务，查看状态
/zoo/zookeeper/bin/zkServer.sh start//开启zookeeper服务
/zoo/zookeeper/bin/zkServer.sh status //查看状态信息
http://i2.运维网.com/images/blog/201808/20/3c9211ff0d1d95acde4984ea6f70b6c3.png
http://i2.运维网.com/images/blog/201808/20/5d40a7babe26169e995920de8eca2620.png
这里可以看到两台服务器上的zookeeper服务的状态信息，其中slave服务器为leader，而master服务器为follower
[*]master安装marathon并且开启服务
tar zxvf marathon-0.15.2.tgz -C /opt //解压marathon软件包
cd /opt
/opt/marathon-0.15.2/bin/start --hostname 172.16.10.138 --master zk://172.16.10.138:2181/mesos //开启marathon服务
[*]分别开启两台服务器的mesos服务，网页登录mesos和marathon服务检测服务是否开启
systemctl start mesos-master //master服务器开启mesos-master服务
systemctl start mesos-slave //slave服务器开启mesos-slave服务
http://i2.运维网.com/images/blog/201808/20/4759e0b60b075a599b3fa66c29bb75f2.png
http://i2.运维网.com/images/blog/201808/20/75eb69ec7b032d9b1746727503aeea90.png
http://i2.运维网.com/images/blog/201808/20/6c48412197801568738d32021527dbec.png
[*]使用marathon调度mesos创建docker容器
编辑json文件
vim nginx.json
{
"id":"nginx",
"cpus":0.1,
"mem":10,
"instances": 1,
"constraints":[["hostname", "UNIQUE",""]],
"container": {
"type":"DOCKER",
"docker": {
"image": "nginx",
"network": "BRIDGE",
"portMappings": [
{"containerPort": 80,"hostPort": 0,"servicePort": 0, "protocol":"tcp" }
]
}
}
}
curl -X POST -H "Content-type:application/json" http://172.16.10.138:8080/v2/apps -d@nginx.json //调用json部署nginx
然后就可以在mesos网页界面和marathon的网页界面查看到执行的任务
http://i2.运维网.com/images/blog/201808/20/b7e7f9b5bf5e9e6f69b2862d94f872c6.png
http://i2.运维网.com/images/blog/201808/20/5c220f44fe5980c4ff6436705692ee5c.png
http://i2.运维网.com/images/blog/201808/20/804ac6013ff18c9d712aefbed69c8f91.png
页:
[1]