放放 发表于 2015-9-4 12:12:26

keepalived+LVS超时设置产生的realserver的tcp连接不释放问题

  redis的集群使用keepalived+LVS做的负载集群
  persistent时间设置为30s
  而ipvsadm的超时时间则为900 120 300【使用ipvsadm -l --timeout】第一个为tcp超时时间,第二个为tcpfin超时时间,第三个为udp超时时间
  由于在这种设置下ActionConn的连接数在高频访问下总是不会释放,恒定在100,【5个客户端恒定TCP连接每台10个】
  决定设短ipvsadm的tcp超时时间为5s,而tcpfin设置为120,udp为300
  结果就悲催了
  keepalived的ActionConn和InActConn的数量猛增猛降也还可以接受
  realserver的tcp连接则出现了端口上连接堆积不释放的情况,从1000多梦飙升到8000多
  客户端狂报远程连接中断的错误

  

  仔细研读了LVS的原理和TCP有限状态机
  发现了问题所在
  tcp的连接超时时间严重小于tcpfin的时间,结果lvs就会每隔5s在即使tcp连接还健康存在的时候强制中断
  由于客户端会恒定保持10个TCP连接,然后就不断的被中断,不断的重新建立
  realserver因为tcp连接是被强制中断的,有可能还没有收到lvs转发的tcp操作完成信号,就会在端口上继续保持连接 ESTABLISHED
  然后就悲催了
  

  一个明显的失误就是tcp的连接超时时间远小于tcp完成超时时间,真是的~~~


  

  
页: [1]
查看完整版本: keepalived+LVS超时设置产生的realserver的tcp连接不释放问题