LVS最简集群配置实战

sdxh0506

　　一、LVS简介
　　LVS是章文嵩博士发起和领导的优秀的集群解决方案，
　　许多商业的集群产品，比如RedHat的Piranha，TurboLinux公司的Turbo Cluster等，都是基于LVS的核心代码的。
　　在现实的应用中，LVS得到了大量的部署，请参考 http://www.linuxvirtualserver.org/deployment.html
　　关于Linux LVS的工作原理和更详细的信息，请参考 http://www.linuxvirtualserver.org。
　　二、配置实例
　　本例由两台物理服务器实现;
　　使用的服务包括有三种:
　　telnet;
　　WWW;
　　图片下载;
　　1. 网络拓扑结构
　　如图1所示:
　　VS1: 192.168.175.44
　　|                                |
　　RS1: 192.168.175.45            RS2: 192.168.175.46
　　三、服务器硬件配置
　　首先说明，虽然本文的测试环境中用的是2台相同配置的服务器，但LVS并不要求集群中的服务器规格划一，
　　相反，可以根据服务器的不同配置和负载情况，调整负载分配策略，充分利用集群环境中的每一台服务器。
　　这2台服务器中，rs1即是提供服务的服务器，也作为虚拟服务器（即负载平衡服务器），
　　负责将用户的访问请求转发到集群内部的rs1,rs2，然后由rs1,rs2分别处理。
　　client为客户端测试机器，可以为任意操作系统。
　　2台服务器的操作系统和网络配置分别为：
　　vs1: RedHat 4.1.2-54, Kernel 2.6.18-348.el5
　　vs1: eth0 192.168.0.1
　　vs1: eth0:101 192.168.175.44
　　rs1: Red Hat 4.1.2-54,  Kernel  2.6.18-348.el5
　　rs1: eth0 192.168.175.45
　　rs1: dummy0 192.168.0.101
　　rs2: Red Hat 4.1.2-54, Kernel  2.6.18-348.el5
　　rs2: eth0 192.168.175.46
　　rs2: dummy0 192.168.0.101
　　client: Windows xp
　　client: eth0 10.2.9.99
　　其中，192.168.175.44是允许用户访问的IP。
　　四、LVS集群配置
　　1. 在配置之前，先检查内核是否打了LVS补丁:
　　如果你使用的是RedHat自带的内核或者从RedHat下载的内核版本，已经预先打好了LVS的补丁。
　　这可以通过查看
　　/usr/src/linux/net/目录下有没有几个ipvs开头的文件来判断：
　　如果有，则说明已经打过补丁。
　　查看内核中是否已经加载ip_vs模块
　　[root ~]# lsmod | grep ip_vs
　　查询内核版本(现在的版本一般都会满足)
　　[root ~]# uname -r
　　2.6.18-348.el5
　　创建链接,将内核模块做软连接至/usr/src/目录下, 并改名为/usr/src/linux/
　　这样做的好处是，在编译keepalived的时候可以直接找到内核文件，而不用指定内核路径，
　　如果不做此项操 作，则在编译时需指定内核路径
　　[root ~]# ln -s /usr/src/kernels/2.6.18-348.el5-x86_64/ /usr/src/linux
　　2. 对两台物理服务器对建立一个目录来下载文件并安装
　　[root ~]# mkdir /opt/lvs
　　[root ~]# cd /opt/lvs
　　下载 ipvsadm-1.24-8.1.x86_64.rpm 和 piranha-0.8.4-11.x86_64.rpm
　　到目录 /opt/lvs
　　[root lvs]# ls
　　ipvsadm-1.24-8.1.x86_64.rpm  piranha-0.8.4-11.x86_64.rpm
　　安装这两个模块:
　　方式一: 用rpm模块安装
　　[root lvs]# rpm -ivh ipvsadm-1.24-8.1.x86_64.rpm
　　Preparing...                ########################################### [100%]
　　1:ipvsadm                ########################################### [100%]
　　[root lvs]# rpm -ivh piranha-0.8.4-11.x86_64.rpm
　　error: Failed dependencies:
　　php is needed by piranha-0.8.4-11.x86_64
　　[root lvs]# rpm -ivh  --nodeps piranha-0.8.4-11.x86_64.rpm
　　Preparing...                ########################################### [100%]
　　1:piranha                ########################################### [100%]
　　方式二: 用yum安装
　　先检查下yum是否可用，如果可用，就用yum安装
　　[root lvs]# yum list
　　[root lvs]# yum -y install ipvsadm piranha
　　Loaded plugins: fastestmirror, security
　　Loading mirror speeds from cached hostfile
　　...

　　Total download>　　Downloading Packages:
　　(1/5): ipvsadm-1.24-13.el5.x86_64.rpm                                                |  34 kB     00:00
　　(2/5): php-common-5.1.6-43.el5_10.x86_64.rpm                                         | 155 kB     00:17
　　(3/5): piranha-0.8.4-25.el5_9.1.x86_64.rpm                                           | 717 kB     00:01
　　(4/5): php-cli-5.1.6-43.el5_10.x86_64.rpm                                            | 2.2 MB     00:00
　　(5/5): php-5.1.6-43.el5_10.x86_64.rpm                                                | 2.4 MB     00:00
　　-------------------------------------------------------------------------------------
　　Total                                                                                46 kB/s | 5.4 MB     01:59
　　Running rpm_check_debug
　　Running Transaction Test
　　Finished Transaction Test
　　Transaction Test Succeeded
　　Running Transaction
　　Installing     : php-common                                                         1/5
　　Installing     : php-cli                                                            2/5
　　Installing     : php                                                                3/5
　　Installing     : ipvsadm                                                            4/5
　　Installing     : piranha                                                            5/5
　　Installed:
　　ipvsadm.x86_64 0:1.24-13.el5                                                        piranha.x86_64 0:0.8.4-25.el5_9.1
　　Dependency Installed:
　　php.x86_64 0:5.1.6-43.el5_10    php-cli.x86_64 0:5.1.6-43.el5_10                    php-common.x86_64 0:5.1.6-43.el5_10
　　Complete!
　　3. 创建虚拟网口:
　　[root lvs]# cd /etc/sysconfig/network-scripts/
　　[root network-scripts]# vim ifcfg-lo\:0
　　DEVICE=lo:0
　　BOOTPROTO=static
　　IPADDR=192.168.175.44
　　NETMASK=255.255.255.255
　　ONBOOT=yes
　　ARP=no
　　【wq】
　　[root network-scripts]# service network restart
　　4. 修改系统默认配置:
　　[root ~]# vim /etc/sysctl.conf
　　【添加下列字段】
　　net.ipv4.tcp_max_syn_backlog = 20480
　　net.ipv4.tcp_synack_retries = 1
　　net.ipv4.tcp_syn_retries = 1
　　net.core.rmem_max = 16777216
　　net.core.rmem_default = 16777216
　　net.core.wmem_max = 16777216
　　net.core.netdev_max_backlog = 262144
　　net.core.somaxconn = 262144
　　net.ipv4.conf.all.arp_ignore = 1
　　net.ipv4.conf.all.arp_announce = 2
　　net.ipv4.conf.lo.arp_ignore = 1
　　net.ipv4.conf.lo.arp_announce = 2
　　net.ipv4.conf.lo.rp_filter = 0
　　net.ipv4.tcp_tw_reuse = 1
　　net.ipv4.tcp_tw_recycle = 1
　　net.ipv4.tcp_max_tw_buckets = 1200000
　　net.ipv4.tcp_max_orphans = 262144
　　net.ipv4.tcp_rmem = 4096 87380 8388608
　　net.ipv4.tcp_wmem = 4096 65536 8388608
　　net.ipv4.ip_local_port_range = 1024 65000
　　net.ipv4.tcp_syncookies = 1
　　net.ipv4.tcp_window_scaling = 0
　　net.ipv4.tcp_sack = 0
　　net.ipv4.tcp_timestamps = 0
　　kernel.panic = 5
　　net.ipv4.conf.all.arp_ignore = 1
　　net.ipv4.conf.all.arp_announce = 2
　　net.ipv4.conf.lo.arp_ignore = 1
　　net.ipv4.conf.lo.arp_announce = 2
　　net.ipv4.conf.lo.rp_filter = 0
　　net.ipv4.conf.eth0.rp_filter = 2
　　【wq】
　　[root ~]# sysctl -p
　　5. 修改LVS的配置:
　　[root ~]# cd /etc/sysconfig/ha/
　　[root ha]# vim lvs.cf
　　serial_no = 39
　　primary = 192.168.175.45
　　service = lvs
　　backup_active = 1
　　backup = 192.168.175.46
　　heartbeat = 1
　　heartbeat_port = 539
　　keepalive = 3
　　deadtime = 9
　　network = direct
　　debug_level = NONE
　　monitor_links = 0
　　syncdaemon = 0
　　virtual XP {
　　active = 1
　　address = 192.168.175.44 eth0:1
　　vip_nmask = 255.255.255.0
　　port = 80
　　send = "GET / HTTP/1.0\r\n\r\n"
　　expect = "HTTP"
　　use_regex = 0
　　load_monitor = none
　　scheduler = wlc
　　protocol = tcp
　　timeout = 5
　　reentry = 5
　　quiesce_server = 0
　　server xp1 {
　　address = 192.168.175.45
　　active = 1
　　weight = 1
　　}
　　server xp2 {
　　address = 192.168.175.46
　　active = 1
　　weight = 1
　　}
　　}
　　【wq】
　　6. 在两台物理机上分别启动心跳服务:
　　[root ~]#  service pulse start
　　Starting pulse:                                            [  OK  ]
　　这时，能在主物理机192.168.175.45上看到负载均衡网卡已启动,
　　而192.168.175.46上是没有这个网卡的:
　　[root ~]# ifconfig
　　eth0      Link encap:Ethernet
　　inet addr:192.168.175.45
　　...
　　eth0:1    Link encap:Ethernet  HWaddr D4:3D:7E:70:8E:54
　　inet addr:192.168.175.44  Bcast:192.168.175.255  Mask:255.255.255.0
　　UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
　　Memory:df9a0000-df9c0000
　　当主物理机的服务关闭时，在192.168.175.46上看到网卡已启动:
　　[root ~]# ifconfig
　　eth0      Link encap:Ethernet  HWaddr D4:3D:7E:70:8E:54
　　inet addr:192.168.175.46
　　...
　　eth0:1    Link encap:Ethernet  HWaddr D4:3D:7E:70:8E:54
　　inet addr:192.168.175.44  Bcast:192.168.175.255  Mask:255.255.255.0
　　UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
　　Memory:df9a0000-df9c0000
　　7. 查看虚拟服务器状态:
　　[root ~]# ipvsadm -ln
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port Scheduler Flags
　　-> RemoteAddress:Port           Forward Weight ActiveConn InActConn
　　TCP  192.168.175.44:80 wlc
　　-> 192.168.175.46:80               Route   1      0          0
　　-> 192.168.175.45:80               Local   1      0          0
　　将服务设成开机自启动:
　　[root ~]# chkconfig --level 345 pulse on
　　三、LVS测试
　　查看nginx的访问日志:
　　[root logs]# tail -0f logs/access.log
　　如果两台机器的访问是交替的，就说明负载均衡生效了；