在RHEL6.6环境下进行LVS

zhangxinba

　　结合这几天做LVS-NAT结构模型的实验。特总结如下
　　一、准备三台RHEL6.6虚拟机
　　1台Director
　　2台RealServer
　　1、克隆两台RealServer
　　   在装好RHEL6.6后，最好是将装好了的RHEL6.6作为Director。其余两台RS1、RS2通过克隆的方式实现,只能在Director关机的情况下进行克隆。这里我选择的是完整克隆。也可以通过“现有快照”克隆
　　右击Director——>管理——>克隆
　　

　　

　　

　　RS2克隆方法同RS1克隆方法一样
2、更新网卡设备名与IP规划
　　(1)、更新RS1、RS2网卡设备名
因为克隆后的虚拟机与原虚拟机比较改变了网络设备的名，例如，克隆后的网卡为eth1,而原虚拟机则为eth0。
[root@gnnt rules.d]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:6E:CF:B2  
          inet addr:172.16.0.9  Bcast:172.16.255.255  Mask:255.255.0.0
          ............................................................
[root@gnnt ~]# cd /etc/udev/rules.d/
[root@gnnt rules.d]# vim 70-persistent-net.rules
# PCI device 0x8086:0x100f (e1000) (custom name provided by external tool)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:7f:d5:6a", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"


# PCI device 0x8086:0x100f (e1000) (custom name provided by external tool)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:0c:29:6e:cf:b2", ATTR{type}=="1", KERNEL=="eth*", NAME="eth1"
可看见有两个网卡的配置信息，需要删除掉关于eth0 的信息。然后修改eth1的网卡名称为eth0。
(2)、IP规划
　　Director:eth0(桥接模式，可浏览外网)     IP地址：172.16.0.9    子网掩码：255.255.0.0
　　                                        默认网关：172.16.1.1   DNS：202.106.0.20
　　         eth1(仅主机模式，不可浏览外网) IP地址：192.168.1.3    子网掩码：255.255.255.0
　　

　　RS1:eth0(仅主机模式)                    IP地址：192.168.1.1    子网掩码：255.255.255.0
　　                                        默认网关：192.168.1.3
　　

　　RS2:eth0(仅主机模式)                    IP地址：192.168.1.2    子网掩码：255.255.255.0
　　                                        默认网关：192.168.1.3
　　具体实现方法可参照：

　　http://1343138116.blog.51cto.com/6124664/1680268  Vmware虚拟机三种网络模式用途的第3节ifcfg-ethX的配置
　　配置完成后执行如下操作

　　[root@gnnt /]#service network restart  #重启网络服务，使配置生效。可以省略，直接进行下一步
　　[root@gnnt /]#reboot   #重启系统，让系统重新读取网卡的设备名称
　　[root@gnnt /]#ifconfig #查看网卡的设备名是否更新
　　    IP地址规划好后测试连通效果。Director:eth0网卡能否PING通互联网，以ping www.baidu.com为例； Director:eth1能否PING通RS1:eth0、RS2:eth0； RS1:eth0、RS2:eth0能否互相PING通。
　　3、通过yum方式安装ipvsadm
　　具体实现方法可参照：
　　http://1343138116.blog.51cto.com/6124664/1681861 RedHat 6.6自建yum仓库
　　   当yum仓库建立完成后通过yum install ipvsadm命令方式安装
　　二、LVS-NAT实现方法
　　

拓扑图

　　注：
　　1、这里的Client我使用的是物理机
　　2、添加Router只是为了能够看出LVS-NAT的整个流程，在这里没有实际意义
　　3、RS1、RS2的网关地址是DIP：192.168.1.3
　　4、RS可以使用Linux或Windows，如果要调内核参数则只能用Linux
　　1、RS1设置
　　[root@gnnt ~]# rpm -qa|grep httpd   #查看是否安装了httpd服务，若没有安装则需要安装以下文件
　　httpd-2.2.15-39.el6.x86_64
　　httpd-tools-2.2.15-39.el6.x86_64
　　
[root@gnnt ~]#service httpd status #查看httpd服务是否启动，可以看出httpd服务是停止的
httpd is stopped

[root@gnnt ~]# service httpd start #启动httpd服务
Starting httpd: httpd: apr_sockaddr_info_get() failed for gnnt
httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
                                                           [  OK  ]
#这里的意思是需要一个DNS服务器，可以不用理会，本次实验不会用到bind服务
　　[root@gnnt ~]#echo "welcome to RS1.gnnt.com" > /var/www/html/index.html #编辑index.html文件
　　[root@gnnt ~]#setenforce 0   #Permissive=0，代表仅记录安全警告但不阻止可疑行为
　　setenforce是SElinux的知识，请参阅
　　http://os.51cto.com/art/201105/265956.htm  SELinux入门：了解和配置SELinux
　　[root@gnnt ~]#service iptables stop    #一定要将防火墙关闭，否则不能“curl RS2”的内容
[root@gnnt ~]#curl http://localhost    #访问本机的index.html文件
welcome to RS1.gnnt.com
[root@gnnt ~]#curl http://192.168.1.2  #访问RS2的index.html文件
welcome to RS2.gnnt.com
　　2、RS2设置
[root@gnnt ~]# rpm -qa|grep httpd  #查看是否安装了httpd服务，若没有安装则需要安装以下文件
httpd-2.2.15-39.el6.x86_64
httpd-tools-2.2.15-39.el6.x86_64
[root@gnnt ~]#service httpd status #查看httpd服务是否启动，可以看出httpd服务是停止的
httpd is stopped

　　[root@gnnt ~]# service httpd start #启动httpd服务
　　Starting httpd: httpd: apr_sockaddr_info_get() failed for gnnt
　　httpd: Could not reliably determine the server's fully qualified domain name, using 127.0.0.1 for ServerName
　　                                                           [  OK  ]
#这里的意思是需要一个DNS服务器，可以不用理会，本次实验不会用到bind服务
[root@gnnt ~]#echo "welcome to RS2.gnnt.com" > /var/www/html/index.html #编辑index.html文件
[root@gnnt ~]#setenforce 0      #Permissive=0，代表仅记录安全警告但不阻止可疑行为
[root@gnnt ~]#service iptables stop     #一定要将防火墙关闭，否则不能“curl RS1”的内容
[root@gnnt ~]#curl http://localhost     #访问本机的index.html文件
welcome to RS2.gnnt.com
[root@gnnt ~]#curl http://192.168.1.1   #访问RS1的index.html文件
welcome to RS1.gnnt.com
注：也要将Director的防火墙关闭
　　3、Director设置
　　注：文档最后有对ipvsadm命令详解的补充，想仔细研究的同学也可以根据命令详解设置不同的调度方式
　　(1)、使用rr调度算法进行负载均衡
　　[root@gnnt ~]#ipvsadm -A -t 172.16.0.9:80 -s rr
　　[root@gnnt ~]#ipvsadm -a -t 172.16.100.1:80 -r 192.168.10.8 -m
　　[root@gnnt ~]#ipvsadm -a -t 172.16.100.1:80 -r 192.168.10.9 -m
　　#添加一个IP为地址172.16.0.9，端口为80的集群服务器
　　#添加一个IP为地址192.168.1.1，端口为80的集群RS服务
　　#添加一个IP为地址192.168.1.2，端口为80的集群RS服务
　　
注：测试前一定要在Director中开启IP转发，重启服务或系统后IP转发会失效。测试步骤在第三节

[root@gnnt ~]# cat /proc/sys/net/ipv4/ip_forward
0
[root@gnnt ~]# echo 1  > /proc/sys/net/ipv4/ip_forward
[root@gnnt ~]# cat /proc/sys/net/ipv4/ip_forward
1
[root@gnnt ~]#
　　(2)、查看客户端连接数
　　
　　[root@gnnt ~]# ipvsadm -L -c
　　IPVS connection entries
　　pro expire state       source             virtual            destination
　　

　　TCP 01:58  TIME_WAIT   172.16.0.255:53948 172.16.0.9:http    192.168.1.1:http
　　TCP 01:57  TIME_WAIT   172.16.0.255:53944 172.16.0.9:http    192.168.1.1:http
　　TCP 01:54  TIME_WAIT   172.16.0.255:53937 172.16.0.9:http    192.168.1.1:http
　　TCP 01:55  TIME_WAIT   172.16.0.255:53943 172.16.0.9:http    192.168.1.1:http
　　.............................................................................
　　(3)、查看统计信息
　　
　　[root@gnnt ~]# ipvsadm -L --stats
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port               Conns   InPkts  OutPkts  InBytes OutBytes
　　-> RemoteAddress:Port
　　TCP  172.16.0.9:http                  4507    22120    21685  2037284  2504098
　　-> 192.168.1.1:http                 2596    13021    12926  1185170  1491242
　　-> 192.168.1.2:http                 1911     9099     8759   852114  1012856
　　(4)、查看速率信息
　　
　　[root@gnnt ~]# ipvsadm -L --rate
　　IP Virtual Server version 1.2.1 (size=4096)
　　Prot LocalAddress:Port                 CPS    InPPS   OutPPS    InBPS   OutBPS
　　-> RemoteAddress:Port
　　TCP  172.16.0.9:http                     4       19       18     2208     1953
　　-> 192.168.1.1:http                    3       14       14     1629     1379
　　-> 192.168.1.2:http                    1        5        5      579      573
　　(5)、查看超时信息
　　
　　[root@gnnt ~]# ipvsadm -L --timeout
　　Timeout (tcp tcpfin udp): 900 120 300
　　(6)、清除ipvsadm规则
　　[root@gnnt ~]# ipvsadm -C
　　(7)、保存ipvsadm，以便重启以后规则也能生效
　　推荐使用

[root@gnnt ~]# service ipvsadm save   #直接保存ipvsadm规则
ipvsadm: Saving IPVS table to /etc/sysconfig/ipvsadm:      [  OK  ]
　　


　　或
[root@gnnt ~]#ipvsadm -S > /etc/sysconfig/ipvsadm.com   #将ipvsadm规则保存指定的文件中
[root@gnnt ~]#ipvsadm -R < /etc/sysconfig/ipvsadm.com   #从指定的文件中载入ipvsadm规则
　　三、通过物理机进行测试
　　通过按F5按钮刷新，查看测试效果

　　

　　
　　

           图1

　　 图2

　　


补充：ipvsadm命令详解
　　默认调度方法：wlc
　　ipvsadm：
　　管理集群服务
　　添加：-A -t|u|f service-address [-s scheduler]
　　-t: TCP协议的集群
　　-u: UDP协议的集群
　　service-address:     IP:PORT
　　-f: FWM: 防火墙标记
　　service-address: Mark Number
　　# ipvsadm -A -t 172.16.0.9:80 -s rr
　　

　　修改：-E
　　

　　删除：-D -t|u|f service-address
　　

　　

　　管理集群服务中的RS
　　添加：-a -t|u|f service-address -r server-address [-g|i|m] [-w weight]
　　-t|u|f service-address：事先定义好的某集群服务
　　-r server-address: 某RS的地址，在NAT模型中，可使用IP：PORT实现端口映射；
　　[-g|i|m]: LVS类型
　　-g: DR
　　-i: TUN
　　-m: NAT
　　[-w weight]: 定义服务器权重
# ipvsadm -a -t 172.16.0.9:80 -r 192.168.10.1 -m
# ipvsadm -a -t 172.16.0.9:80 -r 192.168.10.2 -m
　　

　　修改：-e

　　

　　删除：-d -t|u|f service-address -r server-address
　　

　　查看

　　-L|l
　　-n: 数字格式显示主机地址和端口
　　--stats：统计数据
　　--rate: 速率
　　--timeout: 显示tcp、tcpfin和udp的会话超时时长
　　-c: 显示当前的ipvs连接状况
　　

　　删除所有集群服务
　　-C：清空ipvs规则
　　

　　保存规则
　　-S
　　# ipvsadm -S > /path/to/somefile
　　载入此前的规则：
　　-R
　　# ipvsadm -R < /path/from/somefile
　　

　　

　　

至此，本文档已经结束，文档中难免有不尽人意之处，希望各位能够给出宝贵的建议，谢谢！

紫禁之巅

2015年8月6日 15：44