lichengcom2009 发表于 2018-12-29 09:39:03

keepalived构建高可用集群

  HA Cluster配置前提:
    1、本机的主机名,要与hostname(uname -n)获得的名称保持一致;
      CentOS 6: /etc/sysconfig/network
      CentOS 7: hostnamectl set-hostname HOSTNAME
      各节点要能互相解析主机名;一般建议通过hosts文件进行解析(防止DNS服务无法访问);
    2、各节点时间同步;
    3、确保iptables及selinux不会成为服务阻碍;

  keepalived是vrrp协议在Linux主机上以守护进程方式的实现,能够根据配置文件自动生成ipvs规则;
可以对各RS做健康状态检测;
    配置文件的组成部分:keepalived.conf文件
      1.GLOBAL CONFIGURATION
      2.VRRPD CONFIGURATION
            vrrp instance
            vrrp synchonization group
      3.LVS CONFIGURATION
  获取帮助:man keepalived.conf
  

  keepalived默认不输出日志解决:
  编辑/etc/sysconfig/keepalived修改为
  KEEPALIVED_OPTIONS="-D -S 3"
  编辑/etc/rsyslog.conf添加一行
  local3.*    /var/log/keepalived.log
  重启keepalived服务和rsyslog服务即可
  systemctl restart rsyslog.service
  systemctl restart keepalived.service
  

  使用systemctl status keepalived可以查看详细
  

  示例:

global_defs {
   notification_email {
   acassen@firewall.loc
   failover@firewall.loc   #指明多个服务监控中收集的信息发送给哪些收件人
   sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc#指明发件人
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL   
   #vrrp_mcast_group1 224.0.0.100#指定节点间传递心跳的多播地址,如果多实例运行,不要全局指定,在每个vrrp实例中指定或者不指定
}
vrrp_instance VI_1 {
    state MASTER    #初始状态master和backup两种
    interface eth0    #流动ip绑定于那块网卡上
    #use_vmac指定虚拟mac地址,可选
    virtual_router_id 51    #虚拟路由组自己的ID号,用于区分多个虚拟路由组,须唯一
    priority 100    #抢占模式下,即使state定义为master,而自身优先级不高还是会被抢占
    advert_int 1    #每隔多少秒向外发送一次心跳信息
    authentication {
      auth_type PASS认证方式PASS表示简单字符认证,还有MD5认证
      auth_pass 1111    认证密码 (可以使用openssl命令生成Openssl rand -hex 4)
    }
    virtual_ipaddress {
      192.168.200.16
      192.168.200.17    #虚拟ip地址,下面的示例表示可以给出详细地址信息,如别名,设备等
      192.168.200.18
    }
      nopreempt#非抢占模式;默认为抢占模式;
}    virtual_ipaddress {
      / brddevscopelabel
      192.168.200.17/24 dev eth1
      192.168.200.18/24 dev eth2 label eth2:1
      }  不重启服务,手动让主节点成为备节点:
#在vrrp上下文之外定义一个脚本实现:
vrrp_script chk_mantaince_down {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 1    #多久检测一次
   weight -2    #检测到出现down文件时自身优先级减少几
}
#在vrrp上下文中调用
track_script {   
      chk_mantaince_down
    }  同步组定义:当我们基于keepalive做高可用,又为keepalive本身提供了负载均衡,这时需要定义两个虚拟路由分别负责外网和内网,外网ip移动到另一台主机时,内网ip也需要流动,内网ip移动到另一主机时,外网同理也需要移动。最后将两个虚拟路由归并到一个组中,如下图LVS-NAT模型负载均衡就需要这样做

http://s3.运维网.com/wyfs02/M02/74/9C/wKiom1YjsV_gO7kQAAAkm98yv2k574.jpg
vrrp_sync_group VG_1 {
    group {
    VI_1   # name of vrrp_instance (below)
    VI_2# One for each moveable IP.
         }
      }
vrrp_instance VI_1 {
    eth0    #外网网卡
    vip
      }
vrrp_instance VI_2 {
    eth1    #内网网卡
    dip
      }  在virtual instance中的主机状态发生改变时发送通知:
# notify scripts, alert as above
    notify_master | #当前主机转换为主节点时发送通知
    notify_backup | #当前主机转换为备节点时发送通知
    notify_fault |#当前主机故障时发送通知
    notify |      #自行指明
    smtp_alert
例如:(在VI上下文中定义)
notify_master "/etc/keepalived/notify.sh master"
notify_backup "/etc/keepalived/notify.sh backup"
notify_fault "/etc/keepalived/notify.sh fault"  脚本简单示例:
vip=172.16.20.100
contact='root@localhost'
notify() {
    mailsubject="`hostname` to be $1: $vip floating"
    mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
    echo $mailbody | mail -s "$mailsubject" $contact
}
case "$1" in
    master)
      notify master
#      /etc/rc.d/init.d/keepalived start
      exit 0
    ;;
    backup)
      notify backup
#      /etc/rc.d/init.d/keepalived stop
      exit 0
    ;;
    fault)
      notify fault
#      /etc/rc.d/init.d/keepalived stop
      exit 0
    ;;
    *)
      echo 'Usage: `basename $0` {master|backup|fault}'
      exit 1
    ;;
esac  案例1:lvs-dr+keepalived实现负载均衡和高可用
http://s3.运维网.com/wyfs02/M01/74/B5/wKioL1YnUPqhFQLaAACCNY2OelY171.jpg
1.初始化两个real server配置:在r1和r2上分别执行./lvs.sh start
#!/bin/bash
#
case $1 in
start)
      echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
      echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
      echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
      echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
      ;;
stop)
      echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
      echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
      echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
      echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
      ;;
esac
2.为两个real server配置vip,添加路由:
# ifconfig lo:0 192.168.20.100 netmask 255.255.255.255 broadcast 192.168.20.100 up
# route add -host 192.168.20.100 dev lo:0
测试阶段:使用keepalived前先测试lvs是好用的
其中一个director上配置vip:
ip addr add 192.168.20.100/32 dev eno50332208
# ip addr list eno50332208 | grep 100
4: eno50332208:mtu 1500 qdisc pfifo_fast state UP qlen 1000
    inet 192.168.20.100/32 scope global eno50332208
director上添加规则:
# ipvsadm -A -t 192.168.20.100:80 -s rr
# ipvsadm -a -t 192.168.20.100:80 -r 192.168.20.7 -g -w 1
# ipvsadm -a -t 192.168.20.100:80 -r 192.168.20.8 -g -w 1
另一台主机访问虚拟ip发现以轮询:
# curl 192.168.20.100
httpd on node1
# curl 192.168.20.100
httpd on node3
3.在两个director上安装httpd作为sorry server
yum install httpd
配置sorry server页面
echo "sorry , maintannancing,here is director1" > /var/www/html/index.html
echo "sorry , maintannancing,here is director2" > /var/www/html/index.html
4.配置keepalived
yum install keepalived
keepalived.conf文件:
! Configuration File for keepalived
global_defs {
   notification_email {
       root@localhost
    }
   notification_email_from leeha@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_mantaince_down {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 1
   weight -2
}
vrrp_instance VI_1 {
    state MASTER    #第二个director上定义为BACKUP
    interface eno50332208
    virtual_router_id 51
    priority 100 #第二个director上定以为99
    advert_int 1
    authentication {
      auth_type PASS
      auth_pass 1111
    }
    virtual_ipaddress {
      192.168.20.100 dev eno50332208
    }
    track_script {
      chk_mantaince_down
}
      notify_master "/etc/keepalived/notify.sh master"
      notify_backup "/etc/keepalived/notify.sh backup"
      notify_fault "/etc/keepalived/notify.sh fault"
}
#ipvs配置:
virtual_server 192.168.20.100 80 {
    delay_loop 6
    lb_algo wrr
    lb_kind DR
    nat_mask 255.255.0.0
    persistence_timeout 0
    protocol TCP
   sorry_server 127.0.0.1 80#配置sorry server
#real server健康监测,使用HTTP_GET
    real_server 192.168.20.7 80 {
      weight 1
      HTTP_GET {
            url {
            path /
            status_code 200
                }
         # url {
          &n`sp; #path /mrtg/
            #digest 9b3a0c85a887a256d6939da88aabd8cd
            #}
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
    }
}
#real server健康监测
    real_server 192.168.20.8 80 {
      weight 1
      HTTP_GET {
            url {
            path /
            status_code 200
                }
         # url {
            #path /mrtg/
            #digest 9b3a0c85a887a256d6939da88aabd8cd
            #}
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
    }
}
}
TIPS:健康监测也可以用tcp_check
##      TCP_CHECK {
##         connect_timeout 3
##      }

给予notify脚本:
使用上文中脚本简单示例给出的即可
两个director上启动keepalived
测试:
1.抓包查看:
tcpdump -i eno50332208 -nn host 192.168.20.1
2.lvs规则自动根据keepalived中配置生成了
# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port         Forward Weight ActiveConn InActConn
TCP192.168.20.100:80 wrr
-> 192.168.20.7:80            Route   1      0          0         
-> 192.168.20.8:80            Route   1      0          0   
3.vip自动配置上去了
# ip addr list | grep 100/32
    inet 192.168.20.100/32 scope global eno50332208
4.通知邮件收到:
Message 23:
From root@node3.lee.comWed Oct 21 02:23:16 2015
Return-Path:
X-Original-To: root@localhost
Delivered-To: root@localhost.lee.com
Date: Wed, 21 Oct 2015 02:23:16 -0700
To: root@localhost.lee.com
Subject: node3.lee.com to be master: 192.168.20.100 floating
User-Agent: Heirloom mailx 12.5 7/5/10
Content-Type: text/plain; charset=us-ascii
From: root@node3.lee.com (root)
Status: RO
2015-10-21 02:23:16: vrrp transition, node3.lee.com changed to be master
5.让192.168.20.7这个real server下线:service httpd stop
在director上查看发现规则被删除
# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port         Forward Weight ActiveConn InActConn
TCP192.168.20.100:80 wrr
-> 192.168.20.8:80            Route   1      0          0         
You have new mail in /var/spool/mail/root
6.让第一个director下线,测试
在director1的/etc/keepalived/下创建down文件,发现地址转移到第二个director上,访问real server成功
7.让两个real server都下线,看看sorry server是否生效
# ipvsadm -L -n
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port         Forward Weight ActiveConn InActConn
TCP192.168.20.100:80 wrr
-> 127.0.0.1:80               Route   1      0          0  案例二:keepalived+nginx实现高可用负载均衡web
负载均衡nginx
配置两个节点nginx的实现后端主机负载均衡
upstreamupservers {
      server 192.168.20.7 weight=1;
      server 192.168.20.8 weight=2;
    }
调用:
location/ {
            proxy_pass http://upservers/;
            indexindex.html index.htm;
            proxy_set_header Host $host;
            proxy_set_header x-Real-IP$remote_addr;
         }
tips:Killall -0 nginx 可以判断某个进程是否在线
keepalived.conf配置:
! Configuration File for keepalived
global_defs {
   notification_email {
       root@localhost
    }
   notification_email_from leeha@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id LVS_DEVEL
}
vrrp_script chk_mantaince_down {
   script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
   interval 1
   weight -2
}
#写一个脚本使keepalived监控nginx服务
vrrp_script chk_nginx {
      script "killall -0 nginx &> /dev/null"
      interval 1
      weight -10
}
vrrp_instance VI_1 {
    state MASTER#第二个节点改为BACKUP
    interface eno50332208
    virtual_router_id 51
    priority 100 #第二个节点改成99
    advert_int 1
    authentication {
      auth_type PASS
      auth_pass 1111
    }
    virtual_ipaddress {
      192.168.20.100 dev eno50332208 label eno50332208:0
    }
    track_script {
      chk_mantaince_down
}
#调用上面那个检测nginx的脚本
    track_script {
      chk_nginx
      }
      notify_master "/etc/keepalived/notify.sh master"
      notify_backup "/etc/keepalived/notify.sh backup"
      notify_fault "/etc/keepalived/notify.sh fault"
}
如果使用双主则再加一个VI,这样就实现两个节点nginx都在提供服务,万一其中一个down了另一个就承载两个vip
双主情况下在notify脚本中就不能定义systemctl restart nginx.service,因为这样备节点ginx挂了会影响主节点nginx正常提供服务
vrrp_instance VI_2 {
    state BACKUP
    interface eno50332208
    virtual_router_id 61
    priority 99
    advert_int 1
    authentication {
      auth_type PASS
      auth_pass 2222
    }
    virtual_ipaddress {
      192.168.20.111 dev eno50332208 label eno50332208:1
    }
    track_script {
      chk_mantaince_down
}
    track_script {
      chk_nginx
      }
      notify_master "/etc/keepalived/notify.sh master"
      notify_backup "/etc/keepalived/notify.sh backup"
      notify_fault "/etc/keepalived/notify.sh fault"
}
定义好后重启keepalived和nginx服务,主节点上有了vip 192.168.20.100,因为上面脚本设置了监控nginx服务当主节点的nginx服务down了,vip转移到备节点
配置notify脚本:
#!/bin/bash
                # Author: MageEdu
                # description: An example of notify script
                #
                vip=192.168.20.100
                contact='root@localhost'
                notify() {
                  mailsubject="`hostname` to be $1: $vip floating"
                  mailbody="`date '+%F %H:%M:%S'`: vrrp transition, `hostname` changed to be $1"
                  echo $mailbody | mail -s "$mailsubject" $contact
                }
                case "$1" in
                  master)
                        notify master
                        #systemctl restart nginx.service#这个是作用只要主节点只要在线就一定使用主节点
                        exit 0
                  ;;
                  backup)
                        notify backup
                        #systemctl restart nginx.service
                        exit 0
                  ;;
                  fault)
                        notify fault
                        exit 0
                  ;;
                  *)
                        echo 'Usage: `basename $0` {master|backup|fault}'
                        exit 1
                  ;;
                esac  

  

  

  




页: [1]
查看完整版本: keepalived构建高可用集群