62.Linux集群、用keepalived配置高可用

2004

一、Linux集群概述

• 根据功能划分为两大类：高可用和负载均衡
  
• 高可用集群通常为两台服务器，一台工作，另外一台作为冗余，当提供服务的机器宕机，冗余将接替继续提供服务
  
• 实现高可用的开源软件有：heartbeat、keepalived
  
• 负载均衡集群，需要有一台服务器作为分发器，它负责把用户的请求分发给后端的服务器处理，在这个集群里，除了分发器外，就是给用户提供服务的服务器了，这些服务器数量至少为2
  
• 实现负载均衡的开源软件有LVS、keepalived、haproxy、nginx，商业的有F5、Netscaler
  二、keepalived介绍
  
• 在这里我们使用keepalived来实现高可用集群，因为heartbeat在centos6上有一些问题，影响实验效果
  
• keepalived通过VRRP（Virtual Router Redundancy Protocl）来实现高可用。
  
• 在这个协议里会将多台功能相同的路由器组成一个小组，这个小组里会有1个master角色和N（N>=1）个backup角色。
  
• master会通过组播的形式向各个backup发送VRRP协议的数据包，当backup收不到master发来的VRRP数据包时，就会认为master宕机了。此时就需要根据各个backup的优先级来决定谁成为新的mater。
  
• Keepalived要有三个模块，分别是core、check和vrrp。其中core模块为keepalived的核心，负责主进程的启动、维护以及全局配置文件的加载和解析，check模块负责健康检查，vrrp模块是来实现VRRP协议的。
  三、用keepalived配置高可用
  
• 准备两台机器133和134，133作为master，134作为backup
  
• 　　两台机器都执行yum install -y keepalived
  两台机器都安装nginx，其中133上已经编译安装过nginx，134上需要yum安装nginx:
  
  yum install -y epel-release
  yum install -y nginx
  
• 设定vip为100
  
• 编辑133上keepalived配置文件
  > /etc/keepalived/keepalived.conf
  vim /etc/keepalived/keepalived.conf
  global_defs {
  notification_email {
  chinantfy@qq.com    //接收通知邮件的邮箱
  }
  notification_email_from root@chinantfy.com   //发送通知邮件的邮箱
  smtp_server 127.0.0.1
  smtp_connect_timeout 30
  router_id LVS_DEVEL
  }
  vrrp_script chk_nginx {
  script "/usr/local/sbin/check_ng.sh"         //检查nginx的sh路径
  interval 3
  }
  vrrp_instance VI_1 {
  state MASTER            //主上为MASTER，备用上为BACKUP
  interface ens33         //用哪个网卡通信
  virtual_router_id 51    //主和备用一样
  priority 100            //备用要比主的低
  advert_int 1
  authentication {
  auth_type PASS
  auth_pass chinantfy>com
  }
  virtual_ipaddress {
  192.168.127.100     //设置一个公用ip
  }
  track_script {
  chk_nginx
  }
  }
  
• 133编辑监控脚本
  vim /usr/local/sbin/check_ng.sh
  #!/bin/bash
  #时间变量，用于记录日志
  d=`date --date today +%Y%m%d_%H:%M:%S`
  #计算nginx进程数量
  n=`ps -C nginx --no-heading|wc -l`
  #如果进程为0，则启动nginx，并且再次检测nginx进程数量，
  #如果还为0，说明nginx无法启动，此时需要关闭keepalived
  if [ $n -eq "0" ]; then
  /etc/init.d/nginx start
  n2=`ps -C nginx --no-heading|wc -l`
  if [ $n2 -eq "0"  ]; then
  echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
  systemctl stop keepalived
  fi
  fi
  　　给脚本755权限
  
  chmod 755 /usr/local/sbin/check_ng.sh
  systemctl start  keepalived    //133启动服务
  　　nginx默认配置文件在
  /usr/local/nginx/conf/vhost/default.conf 文件可以找到
  
  
  
  
• 134上编辑配置文件
  > /etc/keepalived/keepalived.conf
  vim /etc/keepalived/keepalived.conf
  global_defs {
  notification_email {
  chinantfy@qq.com    //接收通知邮件的邮箱
  }
  notification_email_from root@chinantfy.com   //发送通知邮件的邮箱
  smtp_server 127.0.0.1
  smtp_connect_timeout 30
  router_id LVS_DEVEL
  }
  vrrp_script chk_nginx {
  script "/usr/local/sbin/check_ng.sh"         //检查nginx的sh路径
  interval 3
  }
  vrrp_instance VI_1 {
  state BACKUP            //主上为MASTER，备用上为BACKUP
  interface ens33         //用哪个网卡通信
  virtual_router_id 51    //主和备用一样
  priority 90           //备用要比主的低
  advert_int 1
  authentication {
  auth_type PASS
  auth_pass chinantfy>com
  }
  virtual_ipaddress {
  192.168.127.100     //设置一个公用ip
  }
  track_script {
  chk_nginx
  }
  }
  
• 　　134上编辑监控脚本
  
  vim /usr/local/sbin/check_ng.sh
  #!/bin/bash
  #时间变量，用于记录日志
  d=`date --date today +%Y%m%d_%H:%M:%S`
  #计算nginx进程数量
  n=`ps -C nginx --no-heading|wc -l`
  #如果进程为0，则启动nginx，并且再次检测nginx进程数量，
  #如果还为0，说明nginx无法启动，此时需要关闭keepalived
  if [ $n -eq "0" ]; then
  systemctl start nginx
  n2=`ps -C nginx --no-heading|wc -l`
  if [ $n2 -eq "0"  ]; then
  echo "$d nginx down,keepalived will stop" >> /var/log/check_ng.log
  systemctl stop keepalived
  fi
  fi
  chmod 755 /usr/local/sbin/check_ng.sh
  > /usr/share/nginx/html/index.html     //由于nginx是yum安装，所以默认配置文件路径与133不同
  vim /usr/share/nginx/html/index.html
  BACKUP BACKUP
  systemctl start  keepalived    //134启动服务
  
  
  
  
  master开启时，在133用ip addr 命令可以看到vip ，backup开启时在134可以查到vip，
  如果切换服务失败，就检查防火墙，iptables或者selinux
  
  
  

四、测试高可用

• 先确定好两台机器上nginx差异，比如可以通过curl -I 来查看nginx版本
  
• 测试1：关闭master上的nginx服务
  
• 测试2：在master上增加iptabls规则
  iptables -I OUTPUT -p vrrp -j DROP
  
• 测试3：关闭master上的keepalived服务
  
• 测试4：启动master上的keepalived服务