CentOS6.4 LVS rpm包安装及源码安装

nhenbei

　　RPM包安装
　　系统平台 CentOS 6.4 x64 minimal
　　KERNEL 2.6.32-358.23.2.el6.x86_64
　　LVS版本 ipvsadm-1.25-10.el6.x86_64
　　KEEPALIVED 版本 keepalived-1.2.7-3.el6.x86_64
　　

　　centos minimal 安装好后
　　开始搭建 LVS 服务器，关于 yum 包的配置安装我之前提过，略过
　　有两种方式安装 LVS 所需要的软件： 源码 和 YUM
　　源码
　　wget http://www.linuxvirtualserver.org/software/kernel-2.6/ipvsadm-1.26.tar.gz
　　YUM
　　# yum install ipvsadm keepalived -y
　　

　　ipvsadm 安装好后
　　查看内核中相关IPVS的模块
　　[myembedded]# modprobe --list|grep ip_vs
kernel/net/netfilter/ipvs/ip_vs.ko
kernel/net/netfilter/ipvs/ip_vs_rr.ko
kernel/net/netfilter/ipvs/ip_vs_wrr.ko
kernel/net/netfilter/ipvs/ip_vs_lc.ko
kernel/net/netfilter/ipvs/ip_vs_wlc.ko
kernel/net/netfilter/ipvs/ip_vs_lblc.ko
kernel/net/netfilter/ipvs/ip_vs_lblcr.ko
kernel/net/netfilter/ipvs/ip_vs_dh.ko
kernel/net/netfilter/ipvs/ip_vs_sh.ko
kernel/net/netfilter/ipvs/ip_vs_sed.ko
kernel/net/netfilter/ipvs/ip_vs_nq.ko
kernel/net/netfilter/ipvs/ip_vs_ftp.ko

　　第一个和最后一个
　　ip_vs.ko   ip_vs_ftp
　　中间的10个是ipvsadm 10个算法
　　rr 轮叫 round robin
　　调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务 器，而不管服务器上实际的连接数和系统负载

　　wrr 加权轮叫 weighted round robin
　　调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求。这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值

　　lc 最少链接 least connections
　　调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上。如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载

　　wlc 加权最少轮叫 weighted least connections
　　在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值

　　lblc 基于局部性的最少链接 locality-based least connections
　　"基于局部性的最少链接" 调度算法是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。该算法根据请求的目标IP地址找出该目标IP地址最近使用的服务器，若该服务器是可用的且没有超载，将请求发送到该服务器；若服务器不存在，或者该服务器超载且有服务器处于一半的工作负载，则用"最少链接"的原则选出一个可用的服务器，将请求发送到该服务器

　　lblcr 带复制的基于局部性的最少链接 locality-based least connections with replication
　　"带复制的基于局部性最少链接"调度算法也是针对目标IP地址的负载均衡，目前主要用于Cache集群系统。它与LBLC算法的不同之处是它要维护从一个目标IP地址到一组服务器的映射，而LBLC算法维护从一个目标IP地址到一台服务器的映射。该算法根据请求的目标IP地址找出该目标IP地址对应的服务器组，按"最小连接"原则从服务器组中选出一台服务器，若服务器没有超载，将请求发送到该服务器，若服务器超载；则按"最小连接"原则从这个集群中选出一台服务器，将该服务器加入到服务器组中，将请求发送到该服务器。同时，当该服务器组有一段时间没有被修改，将最忙的服务器从服务器组中删除，以降低复制的程度

　　dh 目标地址散列 destination hashing
　　"目标地址散列"调度算法根据请求的目标IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空

　　sh 源地址散列 source hashing
　　"源地址散列"调度算法根据请求的源IP地址，作为散列键（Hash Key）从静态分配的散列表找出对应的服务器，若该服务器是可用的且未超载，将请求发送到该服务器，否则返回空

　　查看 ipvsadm 版本
　　[myembedded]# /sbin/ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn

　　

　　开始配置
　　查看配置文件路径
　　[myembedded]# whereis keepalived      
keepalived: /usr/sbin/keepalived /etc/keepalived /usr/share/man/man8/keepalived.8.gz
[myembedded]# whereis ipvsadm         
ipvsadm: /sbin/ipvsadm /usr/share/man/man8/ipvsadm.8.gz

　　ipvsadm 配置文件路径：
　　/etc/sysconfig/ipvsadm-config

　　keepalived 配置文件路径：
　　/etc/keepalived/keepalived.conf

　　# vim /etc/sysconfig/ipvsadm-config

　　

　　开启和停止 keepalived 服务
　　[myembedded]# service keepalived start
Starting keepalived:                                       [  OK  ]
[myembedded]# service keepalived stop
Stopping keepalived:                                     [  OK  ]
　　

　　配置开启 路由转换
　　vim /etc/sysctl.conf
　　net.ipv4.ip_forward=1
　　保存退出
　　使更改生效
　　sysctl -p
　　

　　vim /etc/keepalived/keepalived.conf 待解决，因为我这边网卡是 em1，我又不想改为 eth1
　　

　　一些问题，关于普通用户登录：
　　[~$]ipvsadm
WARNING: Error inserting ipv6 (/lib/modules/2.6.32-358.23.2.el6.x86_64/kernel/net/ipv6/ipv6.ko): Operation not permitted
FATAL: Error inserting ip_vs (/lib/modules/2.6.32-358.23.2.el6.x86_64/kernel/net/netfilter/ipvs/ip_vs.ko): Operation not permitted
Can't initialize ipvs: Permission denied (you must be root)
Are you sure that IP Virtual Server is built in the kernel or as module?

　　

　　/sbin/ipvsadm -a -t 192.168.1.110:http -r 192.168.1.12 -g -w 1
    -a 表示往一个服务内增加一个real server
    -r 指定real server的IP地址
    -w 表示权重
    -g 表示使用DR方式，-m表示NAT方式，-i表示tunneling方式

　　

　　

　　源码安装
　　ipvsadm 和 keepalived 源码安装
　　ipvsadm： make && make install
　　[ipvsadm-1.26]# make install
make -C libipvs
make[1]: Entering directory `/root/tools/ipvs/ipvsadm-1.26/libipvs'
make[1]: Nothing to be done for `all'.
make[1]: Leaving directory `/root/tools/ipvs/ipvsadm-1.26/libipvs'
if [ ! -d /sbin ]; then mkdir -p /sbin; fi
install -m 0755 ipvsadm /sbin
install -m 0755 ipvsadm-save /sbin
install -m 0755 ipvsadm-restore /sbin
[ -d /usr/man/man8 ] || mkdir -p /usr/man/man8
install -m 0644 ipvsadm.8 /usr/man/man8
install -m 0644 ipvsadm-save.8 /usr/man/man8
install -m 0644 ipvsadm-restore.8 /usr/man/man8
[ -d /etc/rc.d/init.d ] || mkdir -p /etc/rc.d/init.d
install -m 0755 ipvsadm.sh /etc/rc.d/init.d/ipvsadm
[iyunv@lvs1 ipvsadm-1.26]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
[ipvsadm-1.26]# rpm -qa | grep ipvsadm
[ipvsadm-1.26]# whereis ipvsadm
ipvsadm: /sbin/ipvsadm /usr/man/man8/ipvsadm.8
[ipvsadm-1.26]#

　　

　　keepalived：
　　配置
　　./configure --prefix=/usr/local/keepalived
　　弹出：
　　.........
　　checking openssl/ssl.h usability... no
checking openssl/ssl.h presence... no
checking for openssl/ssl.h... no
configure: error:
  !!! OpenSSL is not properly installed on your system. !!!
  !!! Can not include OpenSSL headers files.            !!!

　　经过查：
　　[iyunv@lvs1 keepalived-1.2.4]# rpm -qa | grep openssl
openssl-1.0.0-27.el6_4.2.x86_64

　　试试用源码安装 openssl
　　openssl-1.0.1e.tar.gz   下载地址：
　　点击打开链接

　　解压安装：
　　[openssl-1.0.1e]# ./config --prefix=/usr/local/openssl
Operating system: x86_64-whatever-linux2
Configuring for linux-x86_64
Configuring for linux-x86_64
    no-ec_nistp_64_gcc_128 [default]  OPENSSL_NO_EC_NISTP_64_GCC_128 (skip dir)
　　.......
　　make[1]: Nothing to be done for `generate'.
make[1]: Leaving directory `/root/tools/openssl-1.0.1e/test'


Configured for linux-x86_64.

　　然后就是
　　make && make install
　　花了我3分钟左右安装完成
　　

　　现在再跑到 keepalived 目录去，安装 keepalived
　　./configure --prefix=/usr/local/keepalived
　　弹出：
　　...
　　checking openssl/ssl.h usability... no
checking openssl/ssl.h presence... no
checking for openssl/ssl.h... no
configure: error:
  !!! OpenSSL is not properly installed on your system. !!!
  !!! Can not include OpenSSL headers files.            !!!

　　错误，参考网上朋友的思路，安装了一些必要的文件，如下：
　　yum install -y  \
e2fsprogs-devel  \
keyutils-libs-devel \
libsepol-devel \
libselinux-devel \
krb5-devel \
zlib-devel \
openssl-devel　　

　　然后再次：
　　./configure --prefix=/usr/local/keepalived
　　......
　　checking for uname... yes
configure: creating ./config.status
config.status: creating Makefile
config.status: creating genhash/Makefile
config.status: creating keepalived/core/Makefile
config.status: creating keepalived/include/config.h
config.status: creating keepalived.spec
config.status: creating keepalived/Makefile
config.status: creating lib/Makefile
config.status: creating keepalived/vrrp/Makefile
config.status: creating keepalived/check/Makefile
config.status: creating keepalived/libipvs-2.6/Makefile


Keepalived configuration
------------------------
Keepalived version       : 1.2.4
Compiler                 : gcc
Compiler flags           : -g -O2
Extra Lib                : -lpopt -lssl -lcrypto  -lnl
Use IPVS Framework       : Yes
IPVS sync daemon support : Yes
IPVS use libnl           : Yes
Use VRRP Framework       : Yes
Use VRRP VMAC            : Yes
Use Debug flags          : No
　　接着就是：
　　make && make install
　　

　　装完之后就是配置，今天老大帮着整理了一下，如果不需要备份机的话
　　只需要装 ipvsadm 这个 lvs 必备软件即可
　　make && make install
　　在 lvs 端运行 config_vs.sh 脚本
　　在 web 端运行 config_rs.sh 脚本
　　然后就是加入系统启动
　　cp config_vs.sh /usr/bin
　　cp config_rs.sh /usr/bin
　　编写  /etc/rc.local
　　vim /etc/rc.local
　　添加
　　/usr/bin/config_vs.sh
　　/usr/bin/config_rc.sh
　　
　　这样就可以达到系统启动时自动运行脚本

roy_shen

下载下来学习下哈