qqruser 发表于 2018-12-28 11:35:34

keepalived双机互为热备

  什么是Keepalived呢,keepalived观其名可知,保持存活,在网络里面就是保持在线了,也就是所谓的高可用或热备,用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生,那说到keepalived时不得不说的一个协议就是VRRP协议,可以说这个协议就是keepalived实现的基础,那么首先我们来看看VRRP协议
  注:搞运维的要有足够的耐心哦,不理解协议就很难透彻的掌握keepalived的了
  一、Keepalived原理
  keepalived也是模块化设计,不同模块复杂不同的功能,下面是keepalived的组件
  core check vrrp libipfwc libipvs-2.4 libipvs-2.6
  core:是keepalived的核心,复杂主进程的启动和维护,全局配置文件的加载解析等
  check:负责healthchecker(健康检查),包括了各种健康检查方式,以及对应的配置的解析包括LVS的配置解析
  vrrp:VRRPD子进程,VRRPD子进程就是来实现VRRP协议的
  libipfwc:iptables(ipchains)库,配置LVS会用到
  libipvs*:配置LVS会用到
  注意,keepalived和LVS完全是两码事,只不过他们各负其责相互配合而已
http://s3.运维网.com/wyfs02/M01/53/C1/wKioL1RvAQOT3-pxAAJ8QOIxujQ761.jpg
  keepalived启动后会有三个进程
  父进程:内存管理,子进程管理等等
  子进程:VRRP子进程
  子进程:healthchecker子进程
  有图可知,两个子进程都被系统WatchDog看管,两个子进程各自复杂自己的事,healthchecker子进程复杂检查各自服务器的健康程度,例如HTTP,LVS等等,如果healthchecker子进程检查到MASTER上服务不可用了,就会通知本机上的兄弟VRRP子进程,让他删除通告,并且去掉虚拟IP,转换为BACKUP状态
  二、keepalived安装
  系统安装:最小化安装,也就是去掉所有组件
  环境配置:安装make 和 gcc opensslopenssl-devel等等
  1.   yum-y install gcc make openssl openssl-devel wget kernel-devel
  2.   mkdir-p /usr/local/src/hasoft
  3.   cd/usr/local/src/hasoft
  4.   wgethttp://www.keepalived.org/software/keepalived-1.2.13.tar.gz
  5.   tar-zxvf keepalived-1.2.13.tar.gz
  6.   cdkeepalived-1.2.13
  7.   ./configure–prefix=/usr/local/keepalived
  复制代码
  预编译后出现:
  1.   Keepalivedconfiguration
  2.   ————————
  3.   Keepalivedversion       : 1.2.13
  4.   Compiler                : gcc
  5.   Compilerflags         : -g -O2-DETHERTYPE_IPV6=0x86dd
  6.   ExtraLib                : -lpopt-lssl -lcrypto
  7.   UseIPVS Framework       : Yes
  8.   IPVSsync daemon support : Yes
  9.   IPVSuse libnl         : No
  10.UseVRRP Framework       : Yes
  11.UseDebug flags          : No
  复制代码
  1.   make&& make install
  复制代码
  这里注意哦,我上面是指通用的安装方法,如果你没有用到LVS可以把lvs去掉即
  ./configure –prefix=/usr/local/keepalived –disable-lvs-syncd–disable-lvs
  但这个没有影响,就按照我的来配置吧,不过如果你要是集成了LVS,那么就不可加这两个参数了哦
  整理管理文件:
  cp /usr/local/keepalived/sbin/keepalived /usr/sbin/
  cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
  cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
  cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived
  建立配置文件目录(注意:keepalived的配置文件默认在/etc/keepalived/目录)
  三、keepalived配置详解
  
  1、全局配置
  全局配置又包括两个子配置:
  全局定义(global definition)
  静态路由配置(staticipaddress/routes)
  1.全局定义(global definition)配置范例
  1.global_defs
  2.{
  3.notification_email
  4.{
  5.admin@example.com
  6.}
  7.notification_email_fromadmin@example.com
  8.smtp_server127.0.0.1
  9.stmp_connect_timeout30
  10.router_id node1
  11.}
  复制代码
  全局配置解析
  global_defs全局配置标识,表面这个区域{}是全局配置
  1.notification_email
  2.
  3.{
  4.
  5.admin@example.com
  6.admin@ywlm.net
  7.
  8.}
  复制代码
  表示keepalived在发生诸如切换操作时需要发送email通知,以及email发送给哪些邮件地址,邮件地址可以多个,每行一个
  notification_email_from admin@example.com
  表示发送通知邮件时邮件源地址是谁
  smtp_server 127.0.0.1
  表示发送email时使用的smtp服务器地址,这里可以用本地的sendmail来实现
  smtp_connect_timeout 30
  连接smtp连接超时时间
  router_id node1
  机器标识
  2.静态地址和路由配置范例
  1.static_ipaddress
  2.{
  3.192.168.1.1/24brd + dev eth0 scope global
  4.192.168.1.2/24brd + dev eth1 scope global
  5.}
  6.static_routes
  7.{
  8.src $SRC_IP to$DST_IP dev $SRC_DEVICE
  9.src $SRC_IP to$DST_IP via $GW dev $SRC_DEVICE
  10.}
  复制代码
  这里实际上和系统里面命令配置IP地址和路由一样例如:
  192.168.1.1/24 brd + dev eth0 scope global 相当于: ip addradd 192.168.1.1/24 brd + dev eth0 scope global
  就是给eth0配置IP地址
  路由同理
  一般这个区域不需要配置
  这里实际上就是给服务器配置真实的IP地址和路由的,在复杂的环境下可能需要配置,一般不会用这个来配置,我们可以直接用vi/etc/sysconfig/network-script/ifcfg-eth1来配置,切记这里可不是VIP哦,不要搞混淆了,切记切记!
  2、VRRPD配置
  VRRPD配置包括三个类
  VRRP同步组(synchroization group)
  VRRP实例(VRRP Instance)VRRP脚本
  1.VRRP同步组(synchroization group)配置范例
  1.vrrp_sync_group VG_1 {
  2.group {
  3.http
  4.mysql
  5.}
  6.notify_master/path/to/to_master.sh
  7.notify_backup/path_to/to_backup.sh
  8.notify_fault"/path/fault.sh VG_1"
  9.notify/path/to/notify.sh
  10.smtp_alert
  11.}
  复制代码
  其中:
  1.group {
  2.http
  3.mysql
  4.}
  复制代码
  http和mysql是实例名和下面的实例名一致
  1.notify_master/path/to/to_master.sh:表示当切换到master状态时,要执行的脚本
  2.
  3.notify_backup/path_to/to_backup.sh:表示当切换到backup状态时,要执行的脚本
  4.
  5.notify_fault"/path/fault.sh VG_1"
  复制代码
  notify/path/to/notify.sh:

  smtp>  2.VRRP实例(instance)配置范例
  1.vrrp_instancehttp {
  2.state MASTER
  3.interface eth0
  4.dont_track_primary
  5.track_interface{
  6.eth0
  7.eth1
  8.}
  9.mcast_src_ip
  10.garp_master_delay10
  11.virtual_router_id51
  12.priority 100
  13.advert_int 1
  14.authentication {
  15.auth_type PASS
  16.autp_pass 1234
  17.}
  18.virtual_ipaddress{
  19.#/brddevscopelabel
  20.192.168.200.17/24dev eth1
  21.192.168.200.18/24dev eth2 label eth2:1
  22.}
  23.virtual_routes {
  24.# src / via|gwdev scopetab
  25.src192.168.100.1 to 192.168.109.0/24 via 192.168.200.254 dev eth1
  26.192.168.110.0/24via 192.168.200.254 dev eth1
  27.192.168.111.0/24dev eth2
  28.192.168.112.0/24via 192.168.100.254
  29.}
  30.nopreempt
  31.preemtp_delay300
  32.debug
  33.}
  复制代码
  state:state指定instance(Initial)的初始状态,就是说在配置好后,这台服务器的初始状态就是这里指定的,但这里指定的不算,还是得要通过竞选通过优先级来确定,里如果这里设置为master,但如若他的优先级不及另外一台,那么这台在发送通告时,会发送自己的优先级,另外一台发现优先级不如自己的高,那么他会就回抢占为master
  interface:实例绑定的网卡,因为在配置虚拟IP的时候必须是在已有的网卡上添加的
  dont track primary:忽略VRRP的interface错误
  track interface:跟踪接口,设置额外的监控,里面任意一块网卡出现问题,都会进入故障(FAULT)状态,例如,用nginx做均衡器的时候,内网必须正常工作,如果内网出问题了,这个均衡器也就无法运作了,所以必须对内外网同时做健康检查
  mcast src ip:发送多播数据包时的源IP地址,这里注意了,这里实际上就是在那个地址上发送VRRP通告,这个非常重要,一定要选择稳定的网卡端口来发送,这里相当于heartbeat的心跳端口,如果没有设置那么就用默认的绑定的网卡的IP,也就是interface指定的IP地址
  garp master delay:在切换到master状态后,延迟进行免费的ARP(gratuitous ARP)请求

  virtual router>  priority 100:设置本节点的优先级,优先级高的为master
  advert int:检查间隔,默认为1秒
  virtual ipaddress:这里设置的就是VIP,也就是虚拟IP地址,他随着state的变化而增加删除,当state为master的时候就添加,当state为backup的时候删除,这里主要是有优先级来决定的,和state设置的值没有多大关系,这里可以设置多个IP地址
  virtual routes:原理和virtual ipaddress一样,只不过这里是增加和删除路由
  lvs sync daemon interface:lvs syncd绑定的网卡
  authentication:这里设置认证
  auth type:认证方式,可以是PASS或AH两种认证方式
  auth pass:认证密码
  nopreempt:设置不抢占,这里只能设置在state为backup的节点上,而且这个节点的优先级必须别另外的高
  preempt delay:抢占延迟
  debug:debug级别
  notify master:和sync group这里设置的含义一样,可以单独设置,例如不同的实例通知不同的管理人员,http实例发给网站管理员,mysql的就发邮件给DBA
  3.VRRP脚本
  1.vrrp_scriptcheck_running {
  2.   script"/usr/local/bin/check_running"
  3.   interval 10
  4.   weight 10
  5.}
  6.
  7.vrrp_instance http {
  8.   stateBACKUP
  9.   smtp_alert
  10.   interface eth0
  11.   virtual_router_id 101
  12.   priority 90
  13.   advert_int 3
  14.   authentication {
  15.   auth_type PASS
  16.   auth_pass whatever
  17.   }
  18.   virtual_ipaddress {
  19.   1.1.1.1
  20.   }
  21.   track_script {
  22.   check_running weight 20
  23.   }
  24.}
  复制代码
  首先在vrrp_script区域定义脚本名字和脚本执行的间隔和脚本执行的优先级变更
  vrrp_script check_running {
  script "/usr/local/bin/check_running"
  interval 10   #脚本执行间隔
  weight 10      #脚本结果导致的优先级变更:10表示优先级+10;-10则表示优先级-10
  }
  然后在实例(vrrp_instance)里面引用,有点类似脚本里面的函数引用一样:先定义,后引用函数名
  track_script {
  check_running weight 20
  }
  注意:VRRP脚本(vrrp_script)和VRRP实例(vrrp_instance)属于同一个级别
  四、双机互为主备实例:
  环境说明:
  服务器A:
  主机名:rhel6-36.example.com
  eth0 :192.168.122.36
  eth1 :192.168.123.36
  服务器B:
  主机名:rhel6-37.example.com
  eth0 :192.168.122.37
  eth1 :192.168.123.37
  虚拟IP:
  vip1 :192.168.122.100
  vip2 :192.168.122.200
  服务器A配置文件如下:
  global_defs {
  notification_email {
  aa@aa.com
  }
  notification_email_from rhel6-36@rhel6-36.example.com
  smtp_server 127.0.0.1
  smtp_connect_timeout 30
  router_id rhel-node
  }
  vrrp_script chk_httpd {
  script "killall -0 httpd"
  interval 1
  weight 20
  }
  vrrp_script chk_mantaince_down {
  script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
  interval 1
  weight -20
  }
  vrrp_instance vip1 {
  state MASTER
  interface eth0
  virtual_router_id 51
  track_interface {
  eth0 weight 5
  eth1 weight -20
  }
  priority 110
  advert_int 2
  authentication {
  auth_type PASS
  auth_pass 1111
  }
  virtual_ipaddress {
  192.168.122.100/24 brd 192.168.122.255 dev eth0 label eth0:1
  }
  track_script {
  chk_httpd
  chk_mantaince_down
  }
  notify_backup "/usr/local/keepalived/bin/show.sh vip1 backup"
  notify_master "/usr/local/keepalived/bin/show.sh vip1 master"
  notify_fault "/usr/local/keepalived/bin/show.sh vip1 fault"
  smtp_alert
  }
  vrrp_instance vip2 {
  state BACKUP
  interface eth0
  virtual_router_id 52
  track_interface {
  eth0 weight 5
  eth1 weight -20
  }
  priority 100
  advert_int 2
  authentication {
  auth_type PASS
  auth_pass 1111
  }
  virtual_ipaddress {
  192.168.122.200/24 brd 192.168.122.255 dev eth0 label eth0:2
  }
  track_script {
  chk_httpd
  chk_mantaince_down
  }
  notify_backup "/usr/local/keepalived/bin/show.sh vip2 backup"
  notify_master "/usr/local/keepalived/bin/show.sh vip2 master"
  notify_fault "/usr/local/keepalived/bin/show.sh vip2 fault"
  smtp_alert
  }
  服务器B配置文件如下:
  global_defs {
  notification_email {
  aa@aa.com
  }
  notification_email_from rhel6-37@rhel6-37.example.com
  smtp_server 127.0.0.1
  smtp_connect_timeout 30
  router_id rhel-node
  }
  vrrp_script chk_httpd {
  script "killall -0 httpd"
  interval 1
  weight 20
  }
  vrrp_script chk_mantaince_down {
  script "[[ -f /etc/keepalived/down ]] && exit 1 || exit 0"
  interval 1
  weight -20
  }
  vrrp_instance vip1 {
  state BACKUP
  interface eth0
  virtual_router_id 51
  track_interface {
  eth0 weight 5
  eth1 weight -20
  }
  priority 100
  advert_int 2
  authentication {
  auth_type PASS
  auth_pass 1111
  }
  virtual_ipaddress {
  192.168.122.100/24 brd 192.168.122.255 dev eth0 label eth0:1
  }
  track_script {
  chk_httpd
  chk_mantaince_down
  }
  notify_backup "/usr/local/keepalived/bin/show.sh vip1 backup"
  notify_master "/usr/local/keepalived/bin/show.sh vip1 master"
  notify_fault "/usr/local/keepalived/bin/show.sh vip1 fault"
  smtp_alert
  }
  vrrp_instance vip2 {
  state MASTER
  interface eth0
  virtual_router_id 52
  track_interface {
  eth0 weight 5
  eth1 weight -20
  }
  priority 110
  advert_int 2
  authentication {
  auth_type PASS
  auth_pass 1111
  }
  virtual_ipaddress {
  192.168.122.200/24 brd 192.168.122.255 dev eth0 label eth0:2
  }
  track_script {
  chk_httpd
  chk_mantaince_down
  }
  notify_backup "/usr/local/keepalived/bin/show.sh vip2 backup"
  notify_master "/usr/local/keepalived/bin/show.sh vip2 master"
  notify_fault "/usr/local/keepalived/bin/show.sh vip2 fault"
  smtp_alert
  }
  其中/usr/local/keepalived/bin/show.sh内容如下:
  #!/bin/sh
  echo -e "\n################`date +%F' '%T` $1 $2#######################\n" >> /var/log/messages
  方便日志查看。
  五、启动keepalived日志及抓包分析:
  1、/var/log/messages日志如下:
  服务器A:
  因为服务器A先启动keepalived,VIP1和VIP2的优先级均为最高,故进入master状态
http://s3.运维网.com/wyfs02/M00/53/C3/wKiom1RvB4LwgCjNAASAty4s8ho228.jpg
  当服务器B启动keepalived后,服务器B的VIP2优先级大于服务器A,故VIP2进行了切换,具体如下:
http://s3.运维网.com/wyfs02/M01/53/C3/wKiom1RvB4OwUFGbAAKbwZonk3M566.jpg
  2、抓包日志如下:
  服务器A启动keepalived后,通告VIP1和VIP2的优先级:
http://s3.运维网.com/wyfs02/M01/53/C2/wKioL1RvB_2QnrniAANPOfk6_dU820.jpg
  服务器B启动keepalived后,通告VIP1和VIP2的优先级:
http://s3.运维网.com/wyfs02/M00/53/C2/wKioL1RvB_ywNGC5AAIJ9iZgZ9s081.jpg
  3、最后虚拟IP归属如下:
  服务器A IP信息:
http://s3.运维网.com/wyfs02/M02/53/C2/wKioL1RvCguwYx2IAAIeU4Dm0AA072.jpg
  服务器B IP信息:
http://s3.运维网.com/wyfs02/M01/53/C4/wKiom1RvCtLS_vc1AAIYLg1oi6Q067.jpg

页: [1]
查看完整版本: keepalived双机互为热备