|
一、前言
对生产系统做系统监控,发现2台Tomcat的内存使用非常高,使用率达到70%左右
二、分析过程
1、查看内存使用情况
1
2
3
4
5
| # free -g
total used free shared buffers cached
Mem: 31 27 4 0 0 2
-/+ buffers/cache: 24 7
Swap: 0 0 0
|
结论1:可以看出:系统的SWAP为0,说明系统的负荷很小,缓存使用非常多
2、查看进程的使用内存情况
1
2
| #ps aux|awk '{sum=sum+$6}END{print sum/1024/1024}'
4.66959
|
结论2:所有进程实际内存使用只有4个多G,因为这台机器只做Tomcat使用,tomcat停掉之后内存释放4G左右。符合查看的结果
3、查看内存信息
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
| # cat /proc/meminfo
MemTotal: 32827220 kB
MemFree: 4282868 kB
Buffers: 606924 kB
Cached: 2751284 kB
SwapCached: 0 kB
Active: 6846680 kB
Inactive: 1343888 kB
Active(anon): 4832540 kB
Inactive(anon): 4 kB
Active(file): 2014140 kB
Inactive(file): 1343884 kB
Unevictable: 0 kB
Mlocked: 0 kB
SwapTotal: 0 kB
SwapFree: 0 kB
Dirty: 72 kB
Writeback: 0 kB
AnonPages: 4848808 kB
Mapped: 23024 kB
Shmem: 200 kB
Slab: 20096080 kB
SReclaimable: 20054312 kB
SUnreclaim: 41768 kB
KernelStack: 5312 kB
PageTables: 13020 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 16413608 kB
Committed_AS: 9673464 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 333876 kB
VmallocChunk: 34342501180 kB
HardwareCorrupted: 0 kB
AnonHugePages: 4757504 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 5056 kB
DirectMap2M: 2045952 kB
DirectMap1G: 31457280 kB
|
结论3:Slab的使用率非常高
4、查看Slab使用情况【用于存放内核数据结构缓存】
#slabtop
Active / Total Objects (% used) : 100400146 / 100416927 (100.0%)
Active / Total Slabs (% used) : 5019684 / 5019724 (100.0%)
Active / Total Caches (% used) : 96 / 182 (52.7%)
Active / Total Size (% used) : 18836135.62K / 18838648.95K (100.0%)
Minimum / Average / Maximum Object : 0.02K / 0.19K / 4096.00K
OBJS ACTIVE USE OBJ SIZE SLABS OBJ/SLAB CACHE SIZE NAME
99404360 99403921 13% 0.19K 4970218 20 19880872K dentry
772264 772134 99% 0.10K 20872 37 83488K buffer_head
结论4:Slab缓存绝大部分的内容是dentry
三、结论
1. 首先,弄清楚dentry_cache的概念及作用:目录项高速缓存,是Linux为了提高目录项对象的处理效率而设计的;它记录了目录项到inode的映射关系。因此,当应用程序发起stat系统调用时,就会创建对应的dentry_cache项(更进一步,如果每次stat的文件都是不存在的文件,那么总是会有大量新的dentry_cache项被创建)
2. 当前服务器是Tomcat,会频繁处理本地文件,导致linux系统将数据全部缓存
3.涉及到centos的内核缓存机制,参数vfs_cache_pressure:
该文件表示内核回收用于directory和inode cache内存的倾向;缺省值100表示内核将根据pagecache和swapcache,把directory和inode cache保持在一个合理的百分比;降低该值低于100,将导致内核倾向于保留directory和inode cache;增加该值超过100,将导致内核倾向于回收directory和inode cache。
缺省设置:100
min_free_kbytes:
该文件表示强制Linux VM最低保留多少空闲内存(Kbytes)
4.所有的机器安装操作系统时都是默认安装,没有针对以后的场景做内核参数的优化和调整,此项参数设置不当是系统内存使用率高的根本原因
四、解决方法
1.清理缓存
echo 1 > /proc/sys/vm/drop_caches
# free pagecache
echo 2 > /proc/sys/vm/drop_caches
# free dentries and inodes
echo 3 > /proc/sys/vm/drop_caches
# free pagecache, dentries and inodes
2.调整内核参数
sysctl -w vm.vfs_cache_pressure=1000
sysctl -w vm.min_free_kbytes=1024
或者 打开/proc/sys/vm/vfs_cache_pressure 直接修改
3.重启服务器
五、感想
这个问题困扰了好几天,查了很多资料,因为对操作系统内核知识匮乏,解决问题的过程中走了很多弯路。查了N久结果只是修改一个参数,系统调优和内核还是真不简单 呵呵。。
|
|
|
|
|
|
|