lvs+srs(dr模型)

vincen

　　参考：
　　https://my.oschina.net/fengjihu/blog/416883 （srs集群模式）
　　http://blog.csdn.net/reblue520/article/details/50857078 （lvs负载均衡）
　　http://www.cnblogs.com/lgfeng/archive/2012/10/16/2726308.html (arp_ignore和arp_announce)
　　http://www.linuxvirtualserver.org/docs/arp.html （lvs arp问题）
　　http://www.linuxvirtualserver.org/VS-DRouting.html （lvs dr模式）
　　目的：
　　通过lvs推流到多个流服务器以缓解服务器压力，利用边缘服务器的功能可以访问到所有流，又可以节约带宽，因为是直播，所以推过来的流都是不同ip的，所以可以利用lvs hash ip的功能将同一流的包转发到同一流服务器，这样就解决了流的存放问题。
　　lvs dr模式原理简介：

　　    在dr模式下，director、real server和vip都在同一网段中，这就带来了几个问题：
　　1.在此模式下，vip接收到的请求不能简单地通过转发给real server，因为当请求过来的时候，如果简单地转发，因为三台都能连外网，所以转发的时候real server会直接回复给请求方，而请求方收到ip，发现不是自己请求的会丢弃。
　　    所以，每个real server上面都绑定了vip，当收到vip来的请求包的时候，real server 用vip作为源地址回复。
　　

　　2.我们解决了1的问题，但是这又带来了新的问题：director和real server都有vip，而且在同一网段中，所以vip请求到来的时候，网关会广播请求，所以不管是director还是realserver他们都会收到请求，假设我们director先收到了，它是怎么进行负载均衡调度的呢？
　　    利用ip是不行的，如果用realserver的真实ip，那么就会回到1的问题上去，所以只能用vip作为目的ip。事实上，dr模式下，lvs是根据mac地址来进行负载均衡调度的，因为每台的mac地址都不同，所以只有对应mac的rs（realserver简写，懒得打）会收到请求，并且因为自己确实有vip，所以能响应请求。
　　

　　3.那么，我们又怎么确保director第一个收到呢？在同一网段中，每台服务器都会收到vip请求广播包，我们怎么保证rs既能响应这些请求又不首先响应？这就要用到arp_ignore和arp_announce或者hidden interface的功能。
　　    在dr模式下，rs的配置是有些特殊的。比较常见的一种是把vip绑定到lo口上，因为大多数linux内核版本不会响应回环口ip的arp报文请求，所以当收到vip广播请求报文的时候，rs不会响应。因为director是把vip绑定到某个非回环口上的，所以director可以第一个收到并响应vip请求报文。 另一种常见的做法是，rs把vip绑定到某个不在使用中的接口上，然后利用hidden interface的功能禁掉此接口的arp响应，因为没有arp响应，所以这个端口必须不使用，否则影响正常通信。
　　         我们的案例使用的是第三种常见的方法：设置arp_ignore 为1,这个参数的作用是只回答目标IP地址是来访网络接口本地地址的ARP查询请求
　　            举个例子，假设本机上两个网口，eth0上绑定的ip为1.1.1.1，eth1上绑定的是2.2.2.2，那么设置arp_ignore为1后，当eth0收到2.2.2.2的arp请求报文后不会响应，同理eth1收到1.1.1.1的arp请求报文不会响应（eth0:0子网卡不确定可不可以，待测试）
　　 然后，设置arp_announce为2，这个的作用是使用出口网口的mac作为源mac。
　　    举个例子，假设本机有eth0：1.1.1.1，eth1：2.2.2.2 ，假设本机收到了1.1.1.1的请求包，却从eth1口发送包，那么数据帧的源mac应该是写eth0的mac还是eth1的mac？  正常情况下是写eth1的，但是linux比较特殊，默认是写eth0的，设为2，是让它默认写eth1的。      
　　         为什么这里需要用到呢？因为vip包是director第一个响应的，所以网关的arp表保留的是director的mac，假设rs，eth0配的真实ip，eth1配的vip，那么，当收到director改写mac的vip请求包后，它响应并从eth0回送包（我们不应该让eth1接受到包，否则又回到2），如果此时填的是eth1，也就是vip所在的mac，那么网关发现这个是vip的新mac就会更新arp表，从而造成vip抢占（这个是别人的说法,我不太认同，因为就算用eth0的mac也会被更新，一样抢占，待我找到靠谱的答案再更新此问题）
　　
　　

　　架构：
　　director ip:192.168.2.119（lvs调度器服务器ip）
　　virtual  ip:192.168.2.111（调度用的虚拟ip）
　　real1    ip:192.168.2.127（srs源端服务器ip1）
　　real2    ip:192.168.2.138（srs源端服务器ip2）
　　srs ip:192.168.2.221 (此为srs边缘服务器ip)
　　为了实验方便，默认都关闭iptables和selinux
　　

　　real1：
　　echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
　　echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
　　    echo 2 > /proc/sys/net/ipv4/conf/eth0/arp_announce
　　echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
　　cd  /etc/sysconfig/network-scripts/
　　cp ifcfg-lo  ifcfg-lo:0
　　vi ifcfg-lo:0 内容如下：
　　

　　            DEVICE=lo:0
　　            IPADDR=192.168.2.111
　　            NETMASK=255.255.255.255
　　            BROADCAST=192.168.2.111
　　            BROADCAST=127.255.255.255
　　            ONBOOT=yes
　　            NAME=loopback
　　
　　service network  restart
　　vi  /usr/local/srs/conf/edge.conf 内容如下：
　　
　　            listen              1935;
　　            max_connections     1000;
　　            pid                 objs/edge.pid;
　　            srs_log_file        ./objs/edge.log;
　　            vhost __defaultVhost__ {
　　            }
　　

　　service srs restart  
　　route add -host 192.168.2.111 dev lo:0  #加这条是为了保证本机响应包的源ip为vip不变
　　
　　real2：
　　配置和real1一样，略
　　
　　srs 边缘服务器的配置：
　　vi  /usr/local/srs/conf/edge.conf
　　
　　            listen              1935;
　　            max_connections     1000;
　　            pid                 objs/edge.pid;
　　            srs_log_file        ./objs/edge.log;
　　            vhost __defaultVhost__ {
　　                mode            remote;
　　                origin          192.168.2.138:1935  192.168.2.127:1935;  （经测试，当192.168.2.138和192.168.2.127存在不同流的时候，
　　            }                                用这种配置边缘服务器可以访问两台服务器上的所有流）            
　　        service srs restart
　　
　　direct 的配置：
　　vi  /etc/sysctl.conf
　　net.ipv4.ip_forward = 1 （lvs转发包，所以这个要为1，开启转发功能)
　　
　　sysctl -p
　　yum install ipvsadm  -y (lvs是通过ipvsadm这个软件包管理的，就类似于netfiter和iptables的关系)
　　cd  /etc/sysconfig/network-scripts/
　　cp ifcfg-eth0  ifcfg-eth0:0
　　vi ifcfg-eth0:0 内容如下：
　　
　　            DEVICE=eth0:0
　　            BOOTPROTO=static
　　            HWADDR=00:0C:29:5B:58:99
　　            ONBOOT=yes
　　            IPADDR=192.168.2.111
　　            GATEWAY=192.168.2.1
　　            NETMASK=255.255.255.0
　　

　　service network  restart
　　route add 192.168.2.111 dev eth0:0
　　ipvsadm  -A -t 192.168.2.111:1935 -s sh (添加服务，-s指定调度算法，sh是source_hash的意思，根据来源ip调度到同一台服务器)
　　ipvsadm  -a  -t 192.168.2.111:1935 -r 192.168.2.138:1935 -m  （添加后端服务器）
　　ipvsadm  -a  -t 192.168.2.111:1935 -r 192.168.2.127:1935 -m
　　ipvsadm -Ln （这个命令可以查看ipvs当前的状态)
　　
　　推流测试：
　　/usr/local/src/srs/trunk/objs/ffmpeg/bin/ffmpeg  -re -i test.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.2.111/live/livestream1
　　/usr/local/src/srs/trunk/objs/ffmpeg/bin/ffmpeg  -re -i test2.flv -vcodec copy -acodec copy -f flv -y rtmp://192.168.2.111/live/livestream2
　　
　　通过rtmp://192.168.2.221/live/livestream1和rtmp://192.168.2.221/live/livestream2 查看确认视频可正常播放