设为首页 收藏本站
查看: 1208|回复: 0

[经验分享] LVS配置的一些注意点

[复制链接]

尚未签到

发表于 2019-1-5 14:54:33 | 显示全部楼层 |阅读模式

  •   SH调度算法-尽量不要采用
      一些业务为了支持会话保持,选择SH调度算法,以实现 同一源ip的请求调度到同一台RS上;但 SH算法本省没有实现一致性hash,一旦一台RS down,当前所有连接都会断掉;如果配置了inhibit_on_failure,那就更悲剧了,调度到该RS上的流量会一直损失;
      实际线上使用时,如需 会话保持,建议配置 persistence_timeout参数,保证一段时间同一源ip的请求到同一RS上;
  2. WLC调度算法-注意RS donw->up的影响
  WLC算法下,RS一旦出现down后up的情况,瞬间所有的新建连接都会调度到该RS上,可能会超过该RS处理请求的上限;
  3. 关闭网卡LRO/GRO功能
  现在大多数网卡都具有LRO/GRO功能,即 网卡收包时将同一流的小包合并成大包 (tcpdump抓包可以看到>MTU 1500bytes的数据包)交给 内核协议栈;LVS内核模块在处理>MTU的数据包时,会丢弃;
  因此,如果我们用LVS来传输大文件,很容易出现丢包,传输速度慢;
  解决方法,关闭LRO/GRO功能,命令:
  ethtool -k eth0 查看LRO/GRO当前是否打开
  ethtool -K eth0 lro off 关闭GRO
  ethtool -K eth0 gro off 关闭GRO
  4. 手动绑定网卡中断
  当前大多数网卡都是支持硬件多队列的,为了充分发挥多核的性能,需要手动将网卡中断(流量)分配到所有CPU核上去处理;
  查看网卡中断:
  cat /proc/interrupts
  54:  188324418       0     IR-PCI-MSI-edge      eth0-TxRx-0
  55:  167573416       0     IR-PCI-MSI-edge      eth0-TxRx-1
  绑定网卡中断到CPU核:
  echo  01 > /proc/irq/54/smp_affinity
  echo    02 > /proc/irq/55/smp_affinity
  关闭系统自动中断平衡:
  service irqbalance stop
  如果网卡硬件不支持多队列,那就采用google提供的软多队列RPS;
  配置方法同硬中断绑定;
  查看软队列:
  cat  /sys/class/net/eth0/queues/rx-0/rps_cpus
  cat  /sys/class/net/eth0/queues/rx-1/rps_cpus
  绑定软队列到CPU核:
  echo 01 > /sys/class/net/eth0/queues/rx-0/rps_cpus
  echo  02 > /sys/class/net/eth0/queues/rx-1/rps_cpus
  5. 修改LVS内核配置,提高性能
  LVS内核默认配置 连接hash表大小为4K,16把hash桶锁;如果应用的并发连接数>4w,则上述配置会无法满足性能需求;
  调大连接hash表:
  在内核源码根目录下,修改文件 vim .config - CONFIG_IP_VS_TAB_BITS=20;
  增大hash桶锁个数:
  ipvs源码目录下,修改文件vim ip_vs_conn.c - #define CT_LOCKARRAY_BITS  8;
  另一种方法
  在/etc/modprobe.d/目录下添加文件ip_vs.conf,内容为:
  options ip_vs conn_tab_bits=20
  6. BIOS中关闭超线程
  关闭超线程 也是基于性能考虑


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-659738-1-1.html 上篇帖子: 转载一篇写的简单易懂的lvs用法 下篇帖子: 集群架构之LVS介绍
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表