Nginx高并发的优化配置

zhufeng518

　　Nginx高并发的优化配置
　　内核参数的优化
　　net.ipv4.tcp_max_tw_buckets = 6000
　　timewait的数量，默认是180000。
　　net.ipv4.ip_local_port_range = 1024    65000
　　允许系统打开的端口范围。
　　net.ipv4.tcp_tw_recycle = 1
　　启用timewait快速回收。
　　net.ipv4.tcp_tw_reuse = 1
　　开启重用。允许将TIME-WAITsockets重新用于新的TCP连接。
　　net.ipv4.tcp_syncookies = 1
　　开启SYNCookies，当出现SYN等待队列溢出时，启用cookies来处理。
　　net.core.somaxconn = 262144
　　web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128，而nginx定义的NGX_LISTEN_BACKLOG默认为511，所以有必要调整这个值。
　　net.core.netdev_max_backlog = 262144
　　每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。
　　net.ipv4.tcp_max_orphans = 262144
　　系统中最多有多少个TCP套接字不被关联到任何一个用户文件句柄上。如果超过这个数字，孤儿连接将即刻被复位并打印出警告信息。这个限制仅仅是为了防止简单的DoS***，不能过分依靠它或者人为地减小这个值，更应该增加这个值(如果增加了内存之后)。
　　net.ipv4.tcp_max_syn_backlog = 262144
　　记录的那些尚未收到客户端确认信息的连接请求的最大值。对于有128M内存的系统而言，缺省值是1024，小内存的系统则是128。
　　net.ipv4.tcp_timestamps = 0
　　时间戳可以避免序列号的卷绕。一个1Gbps的链路肯定会遇到以前用过的序列号。时间戳能够让内核接受这种"异常"的数据包。这里需要将其关掉。
　　net.ipv4.tcp_synack_retries = 1
　　为了打开对端的连接，内核需要发送一个SYN并附带一个回应前面一个SYN的ACK。也就是所谓三次握手中的第二次握手。这个设置决定了内核放弃连接之前发送SYN+ACK包的数量。
　　net.ipv4.tcp_syn_retries = 1
　　在内核放弃建立连接之前发送SYN包的数量。
　　net.ipv4.tcp_fin_timeout = 1
　　如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。对端可以出错并永远不关闭连接，甚至意外当机。缺省值是60秒。2.2 内核的通常值是180秒，你可以按这个设置，但要记住的是，即使你的机器是一个轻载的WEB服务器，也有因为大量的死套接字而内存溢出的风险，FIN- WAIT-2的危险性比FIN-WAIT-1要小，因为它最多只能吃掉1.5K内存，但是它们的生存期长些。
　　net.ipv4.tcp_keepalive_time = 30
　　当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时。
　　一个完整的内核优化配置
　　net.ipv4.ip_forward = 0
　　net.ipv4.conf.default.rp_filter = 1
　　net.ipv4.conf.default.accept_source_route =0
　　kernel.sysrq = 0
　　kernel.core_uses_pid = 1
　　net.ipv4.tcp_syncookies = 1
　　kernel.msgmnb = 65536
　　kernel.msgmax = 65536
　　kernel.shmmax = 68719476736
　　kernel.shmall = 4294967296
　　net.ipv4.tcp_max_tw_buckets = 6000
　　net.ipv4.tcp_sack = 1
　　net.ipv4.tcp_window_scaling = 1
　　net.ipv4.tcp_rmem = 4096        87380  4194304
　　net.ipv4.tcp_wmem = 4096        16384  4194304
　　net.core.wmem_default = 8388608
　　net.core.rmem_default = 8388608
　　net.core.rmem_max = 16777216
　　net.core.wmem_max = 16777216
　　net.core.netdev_max_backlog = 262144
　　net.core.somaxconn = 262144
　　net.ipv4.tcp_max_orphans = 3276800
　　net.ipv4.tcp_max_syn_backlog = 262144
　　net.ipv4.tcp_timestamps = 0
　　net.ipv4.tcp_synack_retries = 1
　　net.ipv4.tcp_syn_retries = 1
　　net.ipv4.tcp_tw_recycle = 1
　　net.ipv4.tcp_tw_reuse = 1
　　net.ipv4.tcp_mem = 94500000 915000000927000000
　　net.ipv4.tcp_fin_timeout = 1
　　net.ipv4.tcp_keepalive_time = 30
　　net.ipv4.ip_local_port_range = 1024    65000
　　如果出现下面的报错信息，可以查看下面解决方法
　　[root@luowenhao ~]# sysctl -p
　　net.ipv4.ip_forward = 0
　　net.ipv4.conf.default.rp_filter = 1
　　net.ipv4.conf.default.accept_source_route =0
　　kernel.sysrq = 0
　　kernel.core_uses_pid = 1
　　net.ipv4.tcp_syncookies = 1
　　error:"net.bridge.bridge-nf-call-ip6tables" is an unknown key
　　error:"net.bridge.bridge-nf-call-iptables" is an unknown key
　　error:"net.bridge.bridge-nf-call-arptables" is an unknown key
　　kernel.msgmnb = 65536
　　kernel.msgmax = 65536
　　kernel.shmmax = 68719476736
　　kernel.shmall = 4294967296
　　net.ipv4.tcp_max_tw_buckets = 6000
　　net.ipv4.tcp_sack = 1
　　net.ipv4.tcp_window_scaling = 1
　　net.ipv4.tcp_rmem = 4096        87380  4194304
　　net.ipv4.tcp_wmem = 4096        16384  4194304
　　net.core.wmem_default = 8388608
　　net.core.rmem_default = 8388608
　　net.core.rmem_max = 16777216
　　net.core.wmem_max = 16777216
　　net.core.netdev_max_backlog = 262144
　　net.core.somaxconn = 262144
　　net.ipv4.tcp_max_orphans = 3276800
　　net.ipv4.tcp_max_syn_backlog = 262144
　　net.ipv4.tcp_timestamps = 0
　　net.ipv4.tcp_synack_retries = 1
　　net.ipv4.tcp_syn_retries = 1
　　net.ipv4.tcp_tw_recycle = 1
　　net.ipv4.tcp_tw_reuse = 1
　　net.ipv4.tcp_mem = 94500000 915000000927000000
　　net.ipv4.tcp_fin_timeout = 1
　　net.ipv4.tcp_keepalive_time = 30
　　net.ipv4.ip_local_port_range = 1024    65000
　　解答：sudo modprobe bridge
　　[root@luowenhao ~]# sysctl -p
　　net.ipv4.ip_forward = 0
　　net.ipv4.conf.default.rp_filter = 1
　　net.ipv4.conf.default.accept_source_route =0
　　kernel.sysrq = 0
　　kernel.core_uses_pid = 1
　　net.ipv4.tcp_syncookies = 1
　　net.bridge.bridge-nf-call-ip6tables= 0
　　net.bridge.bridge-nf-call-iptables= 0
　　net.bridge.bridge-nf-call-arptables= 0
　　kernel.msgmnb = 65536
　　kernel.msgmax = 65536
　　kernel.shmmax = 68719476736
　　kernel.shmall = 4294967296
　　net.ipv4.tcp_max_tw_buckets = 6000
　　net.ipv4.tcp_sack = 1
　　net.ipv4.tcp_window_scaling = 1
　　net.ipv4.tcp_rmem = 4096        87380  4194304
　　net.ipv4.tcp_wmem = 4096        16384  4194304
　　net.core.wmem_default = 8388608
　　net.core.rmem_default = 8388608
　　net.core.rmem_max = 16777216
　　net.core.wmem_max = 16777216
　　net.core.netdev_max_backlog = 262144
　　net.core.somaxconn = 262144
　　net.ipv4.tcp_max_orphans = 3276800
　　net.ipv4.tcp_max_syn_backlog = 262144
　　net.ipv4.tcp_timestamps = 0
　　net.ipv4.tcp_synack_retries = 1
　　net.ipv4.tcp_syn_retries = 1
　　net.ipv4.tcp_tw_recycle = 1
　　net.ipv4.tcp_tw_reuse = 1
　　net.ipv4.tcp_mem = 94500000 915000000927000000
　　net.ipv4.tcp_fin_timeout = 1
　　net.ipv4.tcp_keepalive_time = 30
　　net.ipv4.ip_local_port_range = 1024    65000
　　有人可能会好奇这三个值得意义所在，我在红帽官网找到了相关说明点击打开链接
　　以下大致的意思主要说使用以上3个选项阻止桥接流量获得通过主机iptables规则，Netfilter是默认情况下启用了桥梁，如果不阻止会导致严重的混乱
　　
　　配置文件中的高层的配置
　　nginx.conf文件中，Nginx中有少数的几个高级配置在模块部分之上。
　　1.    userwww-data;
　　2.    pid/var/run/nginx.pid;
　　3.    worker_processesauto;
　　4.    worker_rlimit_nofile100000;
　　user和pid应该按默认设置 - 我们不会更改这些内容，因为更改与否没有什么不同。
　　worker_processes 定义了nginx对外提供web服务时的worker进程数。最优值取决于许多因素，包括（但不限于）CPU核的数量、存储数据的硬盘数量及负载模式。不能确定的时候，将其设置为可用的CPU内核数将是一个好的开始（设置为“auto”将尝试自动检测它）。
　　worker_rlimit_nofile 更改worker进程的最大打开文件数限制。如果没设置的话，这个值为操作系统的限制。设置后你的操作系统和Nginx可以处理比“ulimit-a”更多的文件，所以把这个值设高，这样nginx就不会有“too manyopen files”问题了。
　　Events模块
　　events模块中包含nginx中所有处理连接的设置。
　　1.    events{
　　2.    worker_connections2048;
　　3.    multi_accepton;
　　4.    useepoll;
　　5.    }
　　worker_connections 设置可由一个worker进程同时打开的最大连接数。如果设置了上面提到的worker_rlimit_nofile，我们可以将这个值设得很高。
　　记住，最大客户数也由系统的可用socket连接数限制（~ 64K），所以设置不切实际的高没什么好处。
　　multi_accept 告诉nginx收到一个新连接通知后接受尽可能多的连接。
　　use 设置用于复用客户端线程的轮询方法。如果你使用Linux 2.6+，你应该使用epoll。如果你使用*BSD，你应该使用kqueue。
　　（值得注意的是如果你不知道Nginx该使用哪种轮询方法的话，它会选择一个最适合你操作系统的）
　　HTTP模块
　　HTTP模块控制着nginx http处理的所有核心特性。因为这里只有很少的配置，所以我们只节选配置的一小部分。所有这些设置都应该在http模块中，甚至你不会特别的注意到这段设置。
　　1.    http{
　　2.    server_tokensoff;
　　3.    sendfileon;
　　4.    tcp_nopushon;
　　5.    tcp_nodelayon;
　　6.    ...
　　7.    }
　　server_tokens  并不会让nginx执行的速度更快，但它可以关闭在错误页面中的nginx版本数字，这样对于安全性是有好处的。
　　sendfile 可以让sendfile()发挥作用。sendfile()可以在磁盘和TCP socket之间互相拷贝数据(或任意两个文件描述符)。Pre-sendfile是传送数据之前在用户空间申请数据缓冲区。之后用read()将数据从文件拷贝到这个缓冲区，write()将缓冲区数据写入网络。sendfile()是立即将数据从磁盘读到OS缓存。因为这种拷贝是在内核完成的，sendfile()要比组合read()和write()以及打开关闭丢弃缓冲更加有效(更多有关于sendfile)。
　　tcp_nopush 告诉nginx在一个数据包里发送所有头文件，而不一个接一个的发送。
　　tcp_nodelay 告诉nginx不要缓存数据，而是一段一段的发送--当需要及时发送数据时，就应该给应用设置这个属性，这样发送一小块数据信息时就不能立即得到返回值。
　　1.    access_logoff;
　　2.    error_log/var/log/nginx/error.log crit;
　　access_log 设置nginx是否将存储访问日志。关闭这个选项可以让读取磁盘IO操作更快(aka,YOLO)
　　error_log 告诉nginx只能记录严重的错误：
　　1.    keepalive_timeout10;
　　2.    client_header_timeout10;
　　3.    client_body_timeout10;
　　4.    reset_timedout_connectionon;
　　5.    send_timeout10;
　　keepalive_timeout  给客户端分配keep-alive链接超时时间。服务器将在这个超时时间过后关闭链接。我们将它设置低些可以让ngnix持续工作的时间更长。
　　client_header_timeout 和client_body_timeout 设置请求头和请求体(各自)的超时时间。我们也可以把这个设置低些。
　　reset_timeout_connection 告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。
　　send_timeout 指定客户端的响应超时时间。这个设置不会用于整个转发器，而是在两次客户端读取操作之间。如果在这段时间内，客户端没有读取任何数据，nginx就会关闭连接。
　　1.    limit_conn_zone$binary_remote_addr zone=addr:5m;
　　2.    limit_connaddr 100;
　　limit_conn_zone 设置用于保存各种key（比如当前连接数）的共享内存的参数。5m就是5兆字节，这个值应该被设置的足够大以存储（32K*5）32byte状态或者（16K*5）64byte状态。
　　limit_conn 为给定的key设置最大连接数。这里key是addr，我们设置的值是100，也就是说我们允许每一个IP地址最多同时打开有100个连接。
　　1.    include/etc/nginx/mime.types;
　　2.    default_typetext/html;
　　3.    charsetUTF-8;
　　include 只是一个在当前文件中包含另一个文件内容的指令。这里我们使用它来加载稍后会用到的一系列的MIME类型。
　　default_type 设置文件使用的默认的MIME-type。
　　charset 设置我们的头文件中的默认的字符集
　　1.    gzipon;
　　2.    gzip_disable"msie6";
　　3.    #gzip_static on;
　　4.    gzip_proxiedany;
　　5.    gzip_min_length1000;
　　6.    gzip_comp_level4;
　　7.    gzip_typestext/plain text/css application/json application/x-javascript text/xmlapplication/xml application/xml+rss text/javascript;
　　gzip 是告诉nginx采用gzip压缩的形式发送数据。这将会减少我们发送的数据量。
　　gzip_disable 为指定的客户端禁用gzip功能。我们设置成IE6或者更低版本以使我们的方案能够广泛兼容。
　　gzip_static 告诉nginx在压缩资源之前，先查找是否有预先gzip处理过的资源。这要求你预先压缩你的文件（在这个例子中被注释掉了），从而允许你使用最高压缩比，这样nginx就不用再压缩这些文件了（想要更详尽的gzip_static的信息，请点击这里）。
　　gzip_proxied 允许或者禁止压缩基于请求和响应的响应流。我们设置为any，意味着将会压缩所有的请求。
　　gzip_min_length 设置对数据启用压缩的最少字节数。如果一个请求小于1000字节，我们最好不要压缩它，因为压缩这些小的数据会降低处理此请求的所有进程的速度。
　　gzip_comp_level 设置数据的压缩等级。这个等级可以是1-9之间的任意数值，9是最慢但是压缩比最大的。我们设置为4，这是一个比较折中的设置。
　　gzip_type 设置需要压缩的数据格式。上面例子中已经有一些了，你也可以再添加更多的格式。
　　1.    #cache informations about file descriptors, frequently accessed files
　　2.    #can boost performance, but you need to test those values
　　3.    open_file_cachemax=100000 inactive=20s;
　　4.    open_file_cache_valid30s;
　　5.    open_file_cache_min_uses2;
　　6.    open_file_cache_errorson;
　　7.    ##
　　8.    #Virtual Host Configs
　　9.    #aka our settings for specific servers
　　10.   ##
　　11.   include/etc/nginx/conf.d/*.conf;
　　12.   include/etc/nginx/sites-enabled/*;
　　open_file_cache 打开缓存的同时也指定了缓存最大数目，以及缓存的时间。我们可以设置一个相对高的最大时间，这样我们可以在它们不活动超过20秒后清除掉。
　　open_file_cache_valid 在open_file_cache中指定检测正确信息的间隔时间。
　　open_file_cache_min_uses 定义了open_file_cache中指令参数不活动时间期间里最小的文件数。
　　open_file_cache_errors 指定了当搜索一个文件时是否缓存错误信息，也包括再次给配置中添加文件。我们也包括了服务器模块，这些是在不同文件中定义的。如果你的服务器模块不在这些位置，你就得修改这一行来指定正确的位置。
　　一个完整的配置
　　1.    userwww-data;
　　2.    pid/var/run/nginx.pid;
　　3.    worker_processesauto;
　　4.    worker_rlimit_nofile100000;
　　5.    events{
　　6.    worker_connections2048;
　　7.    multi_accepton;
　　8.    useepoll;
　　9.    }
　　10.   http{
　　11.   server_tokensoff;
　　12.   sendfileon;
　　13.   tcp_nopushon;
　　14.   tcp_nodelayon;
　　15.   access_logoff;
　　16.   error_log/var/log/nginx/error.log crit;
　　17.   keepalive_timeout10;
　　18.   client_header_timeout10;
　　19.   client_body_timeout10;
　　20.   reset_timedout_connectionon;
　　21.   send_timeout10;
　　22.   limit_conn_zone$binary_remote_addr zone=addr:5m;
　　23.   limit_connaddr 100;
　　24.   include/etc/nginx/mime.types;
　　25.   default_typetext/html;
　　26.   charsetUTF-8;
　　27.   gzipon;
　　28.   gzip_disable"msie6";
　　29.   gzip_proxiedany;
　　30.   gzip_min_length1000;
　　31.   gzip_comp_level6;
　　32.   gzip_typestext/plain text/css application/json application/x-javascript text/xmlapplication/xml application/xml+rss text/javascript;
　　33.   open_file_cachemax=100000 inactive=20s;
　　34.   open_file_cache_valid30s;
　　35.   open_file_cache_min_uses2;
　　36.   open_file_cache_errorson;
　　37.   include/etc/nginx/conf.d/*.conf;
　　38.   include/etc/nginx/sites-enabled/*;
　　39.   }
　　编辑完配置后，确认重启nginx使设置生效。
　　1.    sudoservice nginx restart