关于ip_conntrack跟踪连接满导致网络丢包问题的分析

opijoiu

我们的线上web服务器在访问量很大时，就会出现网络连接丢包的问题，通过dmesg命令查看日志，发现如下信息：

1 2 3 4 5

kernel: ip_conntrack: table full, dropping packet. kernel: printk: 1 messages suppressed. kernel: ip_conntrack: table full, dropping packet. kernel: printk: 2 messages suppressed. kernel: ip_conntrack: table full, dropping packet.

这里面关键的信息是"ip_conntrack: table full, dropping packet",从这里可以判断出这跟iptables有关系了，因为iptables防火墙使用了ip_conntrack内核模块实现连接跟踪功能，所有的进出数据包都会记录在连接跟踪表中，包括tcp，udp，icmp等，一旦连接跟踪表被填满以后，就会发生丢包，导致网络不稳定。

而我们的服务器确实打开了iptables防火墙，并且都是在网站流量非常高的时候经常会出现这个问题。这个问题的原因是由于web服务器收到了大量的连接，在启用了iptables的情况下，iptables会把所有的连接都做链接跟踪处理，这样iptables就会有一个链接跟踪表，当这个表满的时候，就会出现上面的错误。

iptables的链接跟踪表最大容量配置文件如下：

centos5 netfilter 参数配置文件：

1	/proc/sys/net/ipv4/netfilter/ip_conntrack_max或者/proc/sys/net/ipv4/ip_conntrack_max

centos6 netfilter 参数配置文件：

1	/proc/sys/net/netfilter/nf_conntrack_max

由于nf_conntrack 工作在3层，支持IPv4和IPv6，而ip_conntrack只支持IPv4，因此nf_conntrack模块在Linux的2.6.15内核中被引入，而ip_conntrack在Linux的2.6.22内核被移除（centos6.x版本），因此不同版本的系统，配置文件也就不尽相同了。目前大多的ip_conntrack_*已被 nf_conntrack_* 取代，很多ip_conntrack_*仅仅是个软链接，原先的ip_conntrack配置目录/proc/sys/net/ipv4/netfilter/ 仍然存在，但是新的nf_conntrack在/proc/sys/net/netfilter/中，这样做是为了能够向下的兼容。

了解了配置文件的变化后，我们看看这个问题该如何解决，解決方法一般有两个：

1、调整 /proc/ 下面的参数

可以增大适当conntrack 的条目，在CentOS5/RHEL 5下：
（1）运行

1	sysctl -w net.ipv4.netfilter.ip_conntrack_max=655360

（2）.在 /etc/sysctl.conf 中加入：

1	net.ipv4.netfilter.ip_conntrack_max = 655360

（3）.使其生效

1

sysctl -p

在CentOS 6 /RHEL6下：

（1）运行

1	sysctl -w net.nf_conntrack_max=100000

（2）在 /etc/sysctl.conf 中加入：

1	net.nf_conntrack_max = 100000

（3）使其生效

1

sysctl -p

2、不使用ip_conntrack模块

在CentOS5/RHEL 5下：

不使用ip_conntrack，需要移除state模块，因为使用该模块需要加载ip_conntrack。确保iptables规则中没有出现类似state模块的规则，如果有的话将其移除：
然后注释 /etc/sysconfig/iptables-config 中的：

1	IPTABLES_MODULES="ip_conntrack_netbios_ns"

最后移除ip_conntrack模块：

1	[iyunv@waiwei ipv4]#  modprobe -r ip_conntrack_netbios_ns xt_state

在CentOS6/RHEL6下：

1 2	[iyunv@waiwei ipv4]#  modprobe -r nf_conntrack_ipv4 xt_state [iyunv@waiwei ipv4]#  modprobe -r nf_conntrack

现在 /proc/net/ 下面应该没有nf_conntrack了。


两种方法中，第一种简单，但是治标不治本，第二种稍微麻烦，但是毕竟使用，大家可根据情况进行选择。