Redis的内存

lujiguo115

　　内存使用统计
　　127.0.0.1:6379> INFO memory
　　# Memory
　　used_memory:87057136
　　used_memory_human:83.02M
　　used_memory_rss:22122496
　　used_memory_rss_human:21.10M
　　used_memory_peak:87057136
　　used_memory_peak_human:83.02M
　　total_system_memory:1027096576
　　total_system_memory_human:979.52M
　　used_memory_lua:37888
　　used_memory_lua_human:37.00K
　　maxmemory:134217728
　　maxmemory_human:128.00M
　　maxmemory_policy:allkeys-lru
　　mem_fragmentation_ratio:0.25
　　mem_allocator:jemalloc-4.0.3
　　重点关注：
　　used_memory，Redis内部存储数据的内存占用量。
　　used_memory_rss，从操作系统角度看，Redis占用的物理内存总量。
　　used_memory_rss-used_memory，多出来的内存被碎片消耗。
　　Redis内存消耗主要包括：缓冲内存，子进程，Redis进程自身，存储数据对象和内存碎片，主要看前两者。
　　缓冲内存
　　1.客户端缓冲
　　指所有接入到Redis服务器的TCP连接的输入输出缓冲。
　　输入缓冲无法控制，最大空间1G，若超过，将断开连接。
　　输出缓冲有3类：普通客户端，从客户端和订阅客户端，大小通过参数client-output-buffer-limit控制。一般普通客户端内存消耗可以忽略不计，但当有大量慢连接客户端接入时，就要关注这部分内存了。
　　client-output-buffer-limit normal 0 0 0
　　client-output-buffer-limit slave 256mb 64mb 60
　　client-output-buffer-limit pubsub 32mb 8mb 60
　　2.复制积压缓冲
　　#define CONFIG_DEFAULT_REPL_BACKLOG_SIZE (1024*1024) /* 1mb */
　　对于主节点只有一个复制积压缓冲区，所有从节点共享该缓冲区，默认1MB，可设置较大的缓冲区（repl-backlog-size），有效避免全量复制。
　　3.AOF缓冲
　　sds aof_buf; /* AOF buffer, written before entering the event loop */
　　list *aof_rewrite_buf_blocks; /* Hold changes during an AOF rewrite. */
　　开启AOF时，命令会先append进入aof_buf缓冲区中，在aof_buf缓冲区中根据appendfsync指定的策略刷新到磁盘。
　　当触发AOF重写时，主进程fork操作后，依然响应命令，Redis使用aof_rewrite_buf_blocks缓冲区保存这部分新数据，防止新AOF文件生成期间丢失这部分数据。
　　子进程内存消耗
　　1.子进程内存消耗主要是指在RDB快照/AOF重写时，Redis创建子进程消耗的内存。为了保证该过程顺畅，注意两点。
　　a.关闭Linux内核的Transparent Huge Pages机制(echo never > /sys/kernel/mm/transparent_hugepage/enabled)，防止copy-on-write期间内存过度消耗。
　　b.设置vm.overcommit_memory=1，允许内核可以分配所有的物理内存，防止Redis进行fork时内存不足而失败。
　　内存管理
　　Redis是通过控制内存上限，和回收策略实现内存管理的。
　　1.设置内存上限(maxmemory )
　　使用maxmemory参数限制最大可用内存，其限制的是Redis实际使用的内存量，即used_memory统计项值。由于内存碎片，实际消耗的内存可能比maxmemory设置的大，使用时要小心这部分内存溢出。 另可通过CONFIG SET maxmemory 动态调整内存上限。
　　2.内存回收策略，体现在，删除达到过期时间的键对象，和内存使用达到maxmemory上限触发内存溢出控制策略。
　　2.1删除到达过期时间的键对象
　　a.被动方式
　　当用户读取带有超时属性的键时，若已超过键设置的超时时间，会执行删除操作并返回空。当过期键一直没有被访问时，会由主动方式将其删除。
　　b.主动方式
　　Redis会定期进行下面的操作(通过hz设置频率)。
　　1.定期随机对20个键进行过期检测。
　　2.删除过期的键。
　　3.如果多于25%的键过期，重复步骤1。
　　2.2内存溢出控制策略
　　当Redis使用内存达到maxmemory上限时会触发溢出控制策略，共有6种策略，由参数maxmemory-policy控制。
　　volatile-lru -> remove the key with an expire set using an LRU algorithm
　　allkeys-lru -> remove any key according to the LRU algorithm
　　volatile-random -> remove a random key with an expire set
　　allkeys-random -> remove a random key, any key
　　volatile-ttl -> remove the key with the nearest expire time (minor TTL)
　　noeviction -> don't expire at all, just return an error on write operations
　　对于Redis用于缓存业务，一般使用allkeys-lru策略；用于存储业务，使用noeviction策略。
　　若感兴趣可关注订阅号”数据库最佳实践”(DBBestPractice).