LVS+KEEPALIVED故障一例

浪人

　　最近换了新工作，来到这边不久，碰到一个很诡异的问题，LVS+keepalived总是出现问题，不定时的跳到nginx的欢迎界面，好吧，这个问题确实很神奇。
　　排查思路：

　　1、先将一台网站服务器单独运行，保证网站正常访问；

　　2、检查nginx配置，检查完毕没有问题；

　　3、检查ipvs服务器是否正常，检查完毕，正常；

　　4、关闭web服务，访问VIP依然跳转nginx欢迎页面；

　　5、检查keepalived配置，检查完毕，正常，但是重启keepalived后，网站恢复正常，继续观察后又出现问题；

　　6、重新安装高版本的keepalived，完成后网站跑了2天左右，问题又一次出现；

　　7、因为是在虚拟机里做的系统，所以怀疑是网卡的问题，重新添加网卡，问题依旧；

　　9、大招：所有全部删掉，重新做系统，安装软件，完成后问题依然存在；

　　10、关闭后端web服务关闭keepalived的master以及backup，访问vip，依然跳转nginx欢迎界面，现在在lvs的master和slave上面都没有绑定vip，所以怀疑是IP地址被别的机器占用；
　　11、ping vip，竟然是通的，跟同事沟通，此IP以前被分配到一台服务器上，后来服务器已经关掉，经检查，被关掉的服务器不知何时被开启。

　　12、由于那台单独的服务器已经不需公网IP，所以删除外网网卡。

　　13、重新启动keepalived，nginx，至此问题解决。

　　

　　这个问题出现的根本原因还是运维人员管理不到为，运维流程不规范，没有建立完整的规范的运维制度，开发人员权限过大，对服务器账号密码管理不严格，连vSphere控制台的密码都知道，开启已经不用的服务器，另一个对于ip分配没有规范的记录。看来今后的路很漫长啊！