Linux内存问题排查

ewe22

通常，我们会遇到很多关于Linux内存异常的问题：
1、 为什么我们的内存使用偏高？
2、 谁用了我的内存？
3、 内存使用如何调优？

这里总结下排查思路：

• 通过free -m命令查看当前系统内存总体使用情况，引用大牛们的图一幅：
  
  

a）Used = 进程使用内存+Slab使用+pagetable+Buffer+Cache
b）-buffer/cache Used =进程使用内存+Slab使用+pagetable

那么，由于pagetable通常是内存页表的元数据，一般很小；
排查内存使用基本上排查三个地方：
1、buffer、cache是否偏高，为什么？
2、用户进程使用是否偏高，为什么？
3、Slab使用是否偏高，为什么？

针对问题1：
通过free -m即可看到buffer/cache的使用情况，如果buffer/cache偏高，我们就可以通过drop cache来进行释放了；

Tofree pagecache:

echo1 > /proc/sys/vm/drop_caches

Tofree dentriesand inodes:

echo2 > /proc/sys/vm/drop_caches

Tofree pagecache,dentriesand inodes:

echo3 > /proc/sys/vm/drop_caches

安全起见，先sync。

针对问题2：
top 命令， 通过shift+m，即可按照内存排序：


1.Virt： 虚拟内存
2.Res :  物理内存（常驻内存）
3.Shr :  共享内存

4.    实际使用内存是：RES。

Free中看到的used，不是virt的和，而是res的和
通过这个命令，则可以知道哪些进程内存占用率高；
然后，通过pmap -d  $pid查看内存分布情况：

通过这个命令，即可知道这个进程的内存具体分配到哪里了；

针对问题3：
如果buffer/cache、用户态进程都使用的很少，但是内存使用率很高，剩下的疑点就是slab了；
通过slabtop命令，能查明slab的使用情况；
t

排序标准

a:sort by number of active objects

b:sort by objects per slab

c:sort by cache size

l:sort by number of slabs

v:sort by number of active slabs

n:sort by name

o:sort by number of objects

p:sort by pages per slab

s:sort by object size

u:sort by cache utilization

通过按照cache size排序，就是到哪些slab消耗内存最大；
处理方法往往也是drop cache；


另外，如果使用了swap，建议关闭swap；
但是内存又不够，怎么办？如果是云服务器，建议直接弹性内存扩容；

如果是物理机，大致有这些调优方法：

1.降低swap的使用率：

sysctl-a | grepswappiness

vm.swappiness= 60

2.关闭Swap:swapoff

3.限制其他用户的内存使用

vim /etc/security/limits.conf

user1hard as 1000 （用户user1所有累加起来，内存不超过1000kiB）

user1soft as 800 （用户user1一次运行，内存不超过800kiB）

4.大量连续内存数据：

vim /etc/sysctl.conf

vm.nr_hugepage=20

5.调节pagecache（大量一样的请求 调大pagecache）

vm.lowmem_reserve_ratio= 256 256 32 （保留多少内存作为pagecache当前 最大 最小）

vm.vfs_cache_pressure=100（大于100，回收pagecache）

vm.page.cluster=3（一次性从swap写入内存的量为2的3次方页）

vm.zone_reclaim_mode=0/1（当内存危机时，是否尽量回收内存0:尽量回收1:尽量不回收）

min_free_kbytes：该文件表示强制LinuxVM最低保留多少空闲内存（Kbytes）。

6脏页

vm.dirty_background_radio=10（当脏页占内存10%，pdflush工作）

vm.dirty_radio=40（当进程自身脏页占内存40%，进程自己处理脏页，将其写入磁盘）

vm.dirty_expire_centisecs=3000（脏页老化时间为30秒3000/100=30秒）

vm.dirty_writeback_centisecs=500（每隔5秒，pdflush监控一次内存数量500/100=5秒）