MongoDB内存管理

ponh

目前，MongoDB使用的是内存映射存储引擎，它会把数据文件映射到内存中，如果是读操作，内存中的数据起到缓存的作用，如果是写操
作，内存还可以把随机的写操作转换成顺序的写操作，总之可以大幅度提升性能。MongoDB并不干涉内存管理工作，而是把这些工作留给操
作系统的虚拟内存管理器去处理，这样做的好处是简化了MongoDB的工作，但坏处是你没有方法很方便的控制MongoDB占多大内存，幸运
的是虚拟内存管理器的存在让我们多数时候并不需要关心这个问题。
　　MongoDB的内存使用机制让它在缓存重建方面更有优势，简而言之：如果重启进程，那么缓存依然有效，如果重启系统，那么可以通过拷贝
数据文件到/dev/null的方式来重建缓存，更详细的描述请参考：Cache Reheating – Not to be Ignored。
　　有时候，即便MongoDB使用的是64位操作系统，也可能会遭遇OOM问题，出现这种情况，多半是因为限制了内存的大小所致，可以这样查
看当前值：
shell> ulimit -a | grep memory
多数操作系统缺省都是把它设置成unlimited的，如果你的操作系统不是，可以这样修改：
shell> ulimit -m unlimitedshell> ulimit -v unlimited
注：ulimit的使用是有上下文的，最好放在MongoDB的启动脚本里。
有时候，MongoDB连接数过多的话，会拖累性能，可以通过serverStatus查询连接数：
mongo> db.serverStatus().connections
每个连接都是一个线程，需要一个Stack，Linux下缺省的Stack设置一般比较大：
shell> ulimit -a | grep stackstack size              (kbytes, -s) 10240
至于MongoDB实际使用的Stack大小，可以用如下命令确认（单位：K）：
shell> cat /proc/$(pidof mongod)/limits | grep stack | awk -F 'size' '{print int($NF)/1024}'
如果Stack过大（比如：10240K）的话没有意义，简单对照命令结果中的Size和Rss：
shell> cat /proc/$(pidof mongod)/smaps | grep 10240 -A 10
所有连接消耗的内存加起来会相当惊人，推荐把Stack设置小一点，比如说1024：
shell> ulimit -s 1024
注：从开始，MongoDB会在启动时自动设置Stack。
有时候，出于某些原因，你可能想释放掉MongoDB占用的内存，不过前面说了，内存管理工作是由虚拟内存管理器控制的，幸好可以使用
MongoDB内置的closeAllDatabases命令达到目的：
mongo> use adminmongo> db.runCommand({closeAllDatabases:1})
另外，通过调整内核参数drop_caches也可以释放缓存：
shell> sysctl -w vm.drop_caches=1
平时可以通过mongo命令行来监控MongoDB的内存使用情况，如下所示：
mongo> db.serverStatus().mem:{    "resident" : 22346,    "virtual" : 1938524,    "mapped" : 962283}
还可以通过mongostat命令来监控MongoDB的内存使用情况，如下所示：
shell> mongostatmapped  vsize    res faults  940g  1893g  21.9g      0
其中内存相关字段的含义是：
mapped：映射到内存的数据大小
visze：占用的虚拟内存大小
res：占用的物理内存大小
注：如果操作不能在内存中完成，结果faults列的数值不会是0，视大小可能有性能问题。

在上面的结果中，vsize是mapped的两倍，而mapped等于数据文件的大小，所以说vsize是数据文件的两倍，之所以会这样，是因为本例中，

MongoDB开启了journal，需要在内存里多映射一次数据文件，如果关闭journal，则vsize和mapped大致相当。
如果想验证这一点，可以在开启或关闭journal后，通过pmap命令来观察文件映射情况：
shell> pmap $(pidof mongod)
到底MongoDB配备多大内存合适？宽泛点来说，多多益善，如果要确切点来说，这实际取决于你的数据及索引的大小，内存如果能够装下全
部数据加索引是最佳情况，不过很多时候，数据都会比内存大，比如本文所涉及的MongoDB实例：
mongo> db.stats(){    "dataSize" : 1004862191980,    "indexSize" : 1335929664}
本例中索引只有1G多，内存完全能装下，而数据文件则达到了1T，估计很难找到这么大内存，此时保证内存能装下热数据即可，至于热数
据是多少，取决于具体的应用。如此一来内存大小就明确了：内存 > 索引 + 热数据，最好有点富余，毕竟操作系统本身正常运转也需要消耗一部分内存。