设为首页 收藏本站

运维网

 找回密码
 立即注册
查看: 2045|回复: 0

[经验分享] Lvs+Keepalived+Bind+web构建高可用负载均衡系统

[复制链接]
小fish

尚未签到
发表于 2015-9-4 09:12:16 | 显示全部楼层 |阅读模式
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://hatech.blog.iyunv.com/8360868/1417899
　　-------------------------------
　　一、前言
　　二、环境
　　三、配置
　　1.LB-Master及LB-Backup配置
　　(1)LB-Master及LB-Backup安装keepalived和ipvsadm
　　(2)LB-Master的keepalived主配置文档
　　(3)LB-Backup的keepalived主配置文档
　　2.DNS-Master及DNS-Backup配置
　　(1)DNS-Master及DNS-Backup网卡设置
　　
　　(2)DNS-Master及DNS-Backup安装bind及ARP设置
　　(3)DNS-Master配置
　　(4)DNS-Backup配置
　　3.web1及web2配置
　　四、测试
　　五、故障模拟

  • 　　模拟LB-Master失效
  • 　　模拟DNS-Master失效
  • 　　模拟web1失效
　　-------------------------------
　　
　　一、前言
　　这个实验是实现企业高可用负载均衡的web案例，无论Master或Backup宕掉任意一台，业务照常可用。分析拓扑，其中LB-Master负责web的调度，LB-Master负责DNS的调度，实现负载均衡，如果其中一台出现故障，那么web和DNS服务会立即转移到另一台服务器上，DNS分为主辅同步，实现高可用，web在生产环境下页面应该是一致的，为了试验效果，web页面设置不一样，在实际环境下，web后端应架设共享存储，实现web页面的一致性。
　　二、环境
　　系统：CentOS6.4 32位 6台
　　拓扑图：
DSC0000.jpg
　　IP划分：
DSC0001.jpg
　　
　　三、配置
　　1.LB-Master及LB-Backup配置
　　(1)LB-Master及LB-Backup安装keepalived和ipvsadm



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34

# yum groupinstall "Additional Development"         //安装开发工具
# yum groupinstall "Development tools"
# tar -zxvf keepalived-1.2.1.tar.gz -C /usr/local/src/
# cd /usr/local/src/keepalived-1.2.1
# ./cnfigure
Keepalived configuration
------------------------
Keepalived version       : 1.2.1
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lpopt -lssl -lcrypto
Use IPVS Framework       : No    //配置出现错误
IPVS sync daemon support : No
Use VRRP Framework       : Yes
Use Debug flags          : No
解决方法：
# yum install kernel-devel ipvsadm
# ln -s /usr/src/kernels/2.6.32-358.el6.i686/ /usr/src/linux
# ./cnfigure                    //再次配置环境
# make                          //编译
# make install                  //安装
  
# cd /usr/local/etc             //keepalived默认安装路径
# ll
drwxr-xr-x. 3 root root 4096 May 24 00:37 keepalived
drwxr-xr-x. 3 root root 4096 May 24 00:29 rc.d
drwxr-xr-x. 2 root root 4096 May 24 00:29 sysconfig
   
配置以系统方式service启动
# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
# cp /usr/local/etc/sysconfig/keepalived  /etc/sysconfig/
# mkdir /etc/keepalived
# cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
# cp /usr/local/sbin/keepalived /usr/sbin/
　　
　　(2)LB-Master的keepalived主配置文档



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105

# cat /etc/keepalived/keepalived.conf
#guration File for keepalived
#global define
global_defs {
        router_id Haweb_1
        }
vrrp_sync_group VGM {
        group {
        VI_WEB
        }
}
vrrp_sync_group VGN {
        group {
        HA_DNS
        }
}

# vvrp_instance define #
vrrp_instance VI_WEB {
        state MASTER
        interface eth0
        lvs_sync_daemon_inteface eth0
        virtual_router_id 55
        priority 100
        advert_int 5
        authentication {
            auth_type PASS
            auth_pass 123456
        }
    virtual_ipaddress {
            192.168.2.200/24 dev eth0
        }
}
##########  LVS  ###########
virtual_server 192.168.2.200 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
#   persistence_timeout 20
    protocol TCP
     
    real_server 192.168.2.50 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.2.60 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}
###   HA DNS START   ###
vrrp_instance HA_DNS {
        state BACKUP
        interface eth0
        lvs_sync_daemon_inteface eth0
        virtual_router_id 56
        priority 90
        advert_int 5
        authentication {
                auth_type PASS
                auth_pass 123456
        }
        virtual_ipaddress {
                192.168.2.100/24 dev eth0
        }
}
##########  LVS DNS  ###########
virtual_server 192.168.2.100 53 {
        delay_loop 6
        lb_algo rr
        lb_kind DR
#   persistence_timeout 6
        protocol UDP

        real_server 192.168.2.30 53 {
                weight 100
                TCP_CHECK {
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 53
                }
        }
        real_server 192.168.2.40 53 {
                weight 100
                TCP_CHECK {
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 53
                }
        }
}

##################################
　　
　　(3)LB-Backup的keepalived主配置文档



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105

# cat /etc/keepalived/keepalived.conf
#guration File for keepalived
#global define
global_defs {
        router_id Haweb_1
        }
vrrp_sync_group VGM {
        group {
        VI_WEB
        }
}
vrrp_sync_group VGN {
        group {
        HA_DNS
        }
}

# vvrp_instance define #
vrrp_instance VI_WEB {
        state BACKUP
        interface eth0
        lvs_sync_daemon_inteface eth0
        virtual_router_id 55
        priority 90
        advert_int 5
        authentication {
            auth_type PASS
            auth_pass 123456
        }
    virtual_ipaddress {
            192.168.2.200/24 dev eth0
        }
}
##########  LVS  ###########
virtual_server 192.168.2.200 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
#   persistence_timeout 20
    protocol TCP
     
    real_server 192.168.2.50 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
    real_server 192.168.2.60 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
    }
}
###   HA DNS START   ###
vrrp_instance HA_DNS {
        state MASTER
        interface eth0
        lvs_sync_daemon_inteface eth0
        virtual_router_id 56
        priority 100
        advert_int 5
        authentication {
                auth_type PASS
                auth_pass 123456
        }
        virtual_ipaddress {
                192.168.2.100/24 dev eth0
        }
}
##########  LVS DNS  ###########
virtual_server 192.168.2.100 53 {
        delay_loop 6
        lb_algo rr
        lb_kind DR
#   persistence_timeout 6
        protocol UDP

        real_server 192.168.2.30 53 {
                weight 100
                TCP_CHECK {
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 53
                }
        }
        real_server 192.168.2.40 53 {
                weight 100
                TCP_CHECK {
                        connect_timeout 3
                        nb_get_retry 3
                        delay_before_retry 3
                        connect_port 53
                }
        }
}

##################################
　　
　　2.DNS-Master及DNS-Backup配置
　　(1)DNS-Master及DNS-Backup网卡设置
　　DNS-Master及DNS-Backup在各自网卡基础上再添加lo:0端口。
DSC0002.jpg
　　(2)DNS-Master及DNS-Backup安装bind及ARP设置



1
2
3
4
5

# yum install bind bind-chroot
# vim /etc/sysctl.conf                  //添加以下两行
net.ipv4.conf.all.arp_announce = 2      //关闭所有接口的ARP响应和发布
net.ipv4.conf.all.arp_ignore = 1
# sysctl -p
　　(3)DNS-Master配置



1
2
3
4
5
6

# service named start                     
Generating /etc/rndc.key:                   [  OK  ]
Starting named:                             [  OK  ]

# cd /var/named/chroot/etc/
# vim  named.conf      //编辑主配置文档
DSC0003.jpg
　　



1

# vim  named.rfc1912.zones      //编辑区域声明文件[object Object]
DSC0004.jpg
　　



1
2
3
4
5

# scp named.conf named.rfc1912.zones 192.168.2.40:/var/named/chroot/etc/
# cd /var/named/chroot/var/named/
# cp -p named.localhost abc.com.zone
# cp -p named.localhost abc.com.local
# vim abc.com.zone
DSC0005.jpg



1

# vim abc.com.local
DSC0006.jpg
　　
　　(4)DNS-Backup配置



1
2
3

# cd /var/named/chroot/etc/
# chgrp named named.conf named.rfc1912.zones
# vim named.rfc1912.zones
DSC0007.jpg



1
2
3
4
5
6

# service named start
# cd /var/named/chroot/var/named/slaves
# ll                                     //区域文件已经同步
-rw-r--r--. 1 named named 325 May 27 19:31 abc.com.local
-rw-r--r--. 1 named named 340 May 27 19:39 abc.com.zone
# vim abc.com.zone
DSC0008.jpg



1

# vim abc.com.local
DSC0009.jpg
　　
　　3.web1及web2配置
　　在原有网卡基础上再添加一块lo:0网卡
DSC00010.jpg



1
2
3
4
5
6
7
8

# yum install httpd
# echo "This is web1.">/var/www/html/index.html     //web1配置
# echo "This is web2.">/var/www/html/index.html     //web2配置
# vim /etc/sysctl.conf                  //添加以下两行
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.all.arp_ignore = 1
# sysctl -p
# service httpd start
　　四、测试：
　　测试客户端IP配置：
DSC00011.jpg
　　客户端浏览器访问http://www.abc.com,并不断刷新，可以看出web1和web2交替不断出现，在实际生产环境下web内容是一样的 。
DSC00012.jpg
　　
DSC00013.jpg
　　LB-Master（负责web轮询）：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.200:http rr
  -> 192.168.2.50:http            Route   100    0          4         
  -> 192.168.2.60:http            Route   100    0          4         
UDP  192.168.2.100:domain rr
  -> 192.168.2.30:domain          Route   100    0          0         
  -> 192.168.2.40:domain          Route   100    0          0

# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 00:0c:29:1c:d4:8d brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.10/24 brd 192.168.2.255 scope global eth0
    inet 192.168.2.200/24 scope global secondary eth0
    inet6 fe80::20c:29ff:fe1c:d48d/64 scope link
       valid_lft forever preferred_lft forever
　　
　　LB-Backup（负责DNS轮询）：



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.200:http rr
  -> 192.168.2.50:http            Route   100    0          0         
  -> 192.168.2.60:http            Route   100    0          0         
UDP  192.168.2.100:domain rr
  -> 192.168.2.30:domain          Route   100    0          6         
  -> 192.168.2.40:domain          Route   100    0          6  


# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 00:0c:29:22:3d:01 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.20/24 brd 192.168.2.255 scope global eth0
    inet 192.168.2.100/24 scope global secondary eth0
    inet6 fe80::20c:29ff:fe22:3d01/64 scope link
       valid_lft forever preferred_lft forever
　　
　　五、故障模拟

  • 　　模拟LB-Master失效
　　（1）停掉LB-Master的keepalived服务



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

# service keepalived stop
Stopping keepalived:                                [  OK  ]
# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 00:0c:29:1c:d4:8d brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.10/24 brd 192.168.2.255 scope global eth0
    inet6 fe80::20c:29ff:fe1c:d48d/64 scope link
       valid_lft forever preferred_lft forever
　　（2）查看LB-Backup状态（不断在测试客户端刷新网页）



1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UNKNOWN qlen 1000
    link/ether 00:0c:29:22:3d:01 brd ff:ff:ff:ff:ff:ff
    inet 192.168.2.20/24 brd 192.168.2.255 scope global eth0
    inet 192.168.2.100/24 scope global secondary eth0
    inet 192.168.2.200/24 scope global secondary eth0
    inet6 fe80::20c:29ff:fe22:3d01/64 scope link
       valid_lft forever preferred_lft forever
# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.200:http rr
  -> 192.168.2.50:http            Route   100    0          9         
  -> 192.168.2.60:http            Route   100    0          10        
UDP  192.168.2.100:domain rr
  -> 192.168.2.30:domain          Route   100    0          6         
  -> 192.168.2.40:domain          Route   100    0          6
　　2.模拟DNS-Master失效
　　（1）停掉DNS-Master的named服务，并恢复LB-Master的服务



1
2

# service named stop
Stopping named: .                                       [  OK  ]
　　（2）查看LB-Master状态（不断在测试客户端刷新网页）



1
2
3
4
5
6
7
8
9

# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.200:http rr
  -> 192.168.2.50:http            Route   100    0          13        
  -> 192.168.2.60:http            Route   100    0          14        
UDP  192.168.2.100:domain rr
  -> 192.168.2.40:domain          Route   100    0          0
　　（3）查看LB-Backup状态



1
2
3
4
5
6
7
8
9

# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.2.200:http rr
  -> 192.168.2.50:http            Route   100    0          0         
  -> 192.168.2.60:http            Route   100    0          0         
UDP  192.168.2.100:domain rr
  -> 192.168.2.40:domain          Route   100    0          6
　　3.模拟web1失效
　　停掉web1的httpd服务即可测试，这步比较简单，不再赘述。
　　本文出自 “一诺千金” 博客，请务必保留此出处http://hatech.blog.iyunv.com/8360868/1417899

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址：https://www.yunweiku.com/thread-109234-1-1.html 上篇帖子： NginX（负载均衡）+keepalived （NginX主备） 下篇帖子： LVS与keepalived
回复

使用道具 举报

返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群，最新一手资源尽在官方微信交流群！快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:iyunvcom@gmail.com

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

豫ICP备20007574号-1 Copyright © 2012-2025

关于我们

发展历程

联系我们

关注我们

广告服务

广告案例

隐私条款

免责声明

用户登录

用户注册

版主守则

申请版主

手机版

金币获取

帮助中心

每日签到

Good Good

Study

Day Day

UP


客服E-mail:kefu@iyunv.com 客服QQ：1061981298


QQ群⑦：运维网交流群⑦ QQ群⑧：运维网交流群⑧ k8s群：运维网kubernetes交流群


提醒：禁止发布任何违反国家法律、法规的言论与图片等内容；本站内容均来自个人观点与网络等信息，非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来，其版权均归原作者及其网站所有，我们尊重他人的合法权益，如有内容侵犯您的合法权益，请及时与我们联系进行核实删除！



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表