Tomcat内存使用之谜

hhnf333

　　一、前言
　　对生产系统做系统监控，发现2台Tomcat的内存使用非常高，使用率达到70%左右
　　二、分析过程
　　1、查看内存使用情况
# free -g
             total       used       free     shared    buffers     cached
Mem:            31         27          4          0          0          2
-/+ buffers/cache:         24          7
Swap:            0          0          0　　结论1：可以看出：系统的SWAP为0，说明系统的负荷很小，缓存使用非常多
　　2、查看进程的使用内存情况
#ps aux|awk '{sum=sum+$6}END{print sum/1024/1024}'
4.66959　　结论2：所有进程实际内存使用只有4个多G，因为这台机器只做Tomcat使用，tomcat停掉之后内存释放4G左右。符合查看的结果
　　3、查看内存信息
# cat /proc/meminfo
MemTotal:       32827220 kB
MemFree:         4282868 kB
Buffers:          606924 kB
Cached:          2751284 kB
SwapCached:            0 kB
Active:          6846680 kB
Inactive:        1343888 kB
Active(anon):    4832540 kB
Inactive(anon):        4 kB
Active(file):    2014140 kB
Inactive(file):  1343884 kB
Unevictable:           0 kB
Mlocked:               0 kB
SwapTotal:             0 kB
SwapFree:              0 kB
Dirty:                72 kB
Writeback:             0 kB
AnonPages:       4848808 kB
Mapped:            23024 kB
Shmem:               200 kB
Slab:           20096080 kB
SReclaimable:   20054312 kB
SUnreclaim:        41768 kB
KernelStack:        5312 kB
PageTables:        13020 kB
NFS_Unstable:          0 kB
Bounce:                0 kB
WritebackTmp:          0 kB
CommitLimit:    16413608 kB
Committed_AS:    9673464 kB
VmallocTotal:   34359738367 kB
VmallocUsed:      333876 kB
VmallocChunk:   34342501180 kB
HardwareCorrupted:     0 kB
AnonHugePages:   4757504 kB
HugePages_Total:       0
HugePages_Free:        0
HugePages_Rsvd:        0
HugePages_Surp:        0
Hugepagesize:       2048 kB
DirectMap4k:        5056 kB
DirectMap2M:     2045952 kB
DirectMap1G:    31457280 kB　　结论3：Slab的使用率非常高
　　4、查看Slab使用情况【用于存放内核数据结构缓存】
　　#slabtop
　　Active / Total Objects (% used)    : 100400146 / 100416927 (100.0%)
　　Active / Total Slabs (% used)      : 5019684 / 5019724 (100.0%)
　　Active / Total Caches (% used)     : 96 / 182 (52.7%)
　　Active / Total Size (% used)       : 18836135.62K / 18838648.95K (100.0%)
　　Minimum / Average / Maximum Object : 0.02K / 0.19K / 4096.00K
　　OBJS ACTIVE  USE OBJ SIZE  SLABS OBJ/SLAB CACHE SIZE NAME                  
　　99404360 99403921  13%    0.19K 4970218       20  19880872K dentry
　　772264 772134  99%    0.10K  20872       37     83488K buffer_head
　　结论4：Slab缓存绝大部分的内容是dentry
　　三、结论

　　1. 首先，弄清楚dentry_cache的概念及作用：目录项高速缓存，是Linux为了提高目录项对象的处理效率而设计的；它记录了目录项到inode的映射关系。因此，当应用程序发起stat系统调用时，就会创建对应的dentry_cache项（更进一步，如果每次stat的文件都是不存在的文件，那么总是会有大量新的dentry_cache项被创建）
　　2. 当前服务器是Tomcat,会频繁处理本地文件，导致linux系统将数据全部缓存
　　3.涉及到centos的内核缓存机制，参数vfs_cache_pressure：
　　该文件表示内核回收用于directory和inode cache内存的倾向；缺省值100表示内核将根据pagecache和swapcache，把directory和inode cache保持在一个合理的百分比；降低该值低于100，将导致内核倾向于保留directory和inode cache；增加该值超过100，将导致内核倾向于回收directory和inode cache。
　　缺省设置：100
　　min_free_kbytes：
　　该文件表示强制Linux VM最低保留多少空闲内存（Kbytes）
　　4.所有的机器安装操作系统时都是默认安装，没有针对以后的场景做内核参数的优化和调整，此项参数设置不当是系统内存使用率高的根本原因

　　四、解决方法
　　
　　1.清理缓存
　　echo 1 > /proc/sys/vm/drop_caches  
　　# free pagecache
　　echo 2 > /proc/sys/vm/drop_caches  
　　# free dentries and inodes
　　echo 3 > /proc/sys/vm/drop_caches  
　　# free pagecache, dentries and inodes
　　2.调整内核参数
　　sysctl -w vm.vfs_cache_pressure=1000
　　sysctl -w vm.min_free_kbytes=1024
　　或者 打开/proc/sys/vm/vfs_cache_pressure 直接修改
　　3.重启服务器
　　五、感想
　　这个问题困扰了好几天，查了很多资料，因为对操作系统内核知识匮乏，解决问题的过程中走了很多弯路。查了N久结果只是修改一个参数，系统调优和内核还是真不简单 呵呵。。
　　

　　参考：
　　http://blog.itpub.net/12482/viewspace-1013044/
　　 http://www.bitscn.com/os/linux/201402/194938.html