redis,memcache,mongodb对比

lijm1522

　　这段时间对memcache,redis,mongodb 3种nosql进行了熟悉，简单的总结了下。
　　1.从3者的性能来看，memcache性能是最好的，redis次之(redis有单进程限制，会碰到cpu 100%的限制，这个也比较难比较，一个多进程，一个单进程)
　　2.从ha和scale out的角度来看，mongodb的灵活性和可用性最高。。memcache本身不怎么支持高可用。。需要前端实现persistencehash或者proxy。。
　　Redis虽然支持m-s和m-s-s的结构，但是其对网络的依赖比较大，m-s之间的丢包也可能导致一次全量的镜像产生。
　　Redis和memcache的横向扩展方式是一样的，但是单个的redis比较容易遇到cpu的瓶颈
　　3.从存储的数据类型来看，mongodb最丰富，而且操作也比较灵活，支持类sql的查询。。memcache是纯粹的key-value，数据结构单一
　　4.从数据的备份角度来看，memcache数据备份不太方便，需要3方工具，redis可以用持久化，mongodb的数据备份方法则比较多。
　　总结来说；
　　1.如果业务对数据的持久化没什么要求，数据结构比较单一，目的是做前端缓存的话，memcache会提供比较好的性能表现
　　2.如果业务对数据的持久化有要求，需要备份，支持读写分离的话，用redis做缓存比较合适（也可以做一部分的后端存储）
　　3.mongodb主要是用在大量数据的后端存储上，支持autosharding和自动故障转移，可用性比较高和hadoop群集类似
　　目前我们对nosql的使用还不太完善，包括一些监控，比如redis的定时monitor监控。对性能的分析也基本没有。。
　　比如redis和mongodb都是有slow log的，但是我们线上都没有开启更没有进行分析。。。这个可能是后续要做的事情。。
　　下面是一个简单的对比表：
对比参数memcacheredismongodb数据库类型纯粹的key-value数据库，数据结构单一结构化数据库对象数据库支持数据类型stringstring,list,sort,sorted,hash丰富的数据表达，索引，类似于关系型数据库可用性没有数据冗余机制，使用一致性hash增加可用性支持ms,mss结构，slave重连主节点会导致一次全量同步产生，影响性能和效率。可以实现读写分离，slave重连使用全量数据，性能和效率会有问题，不支持自动sharding，需要程序上实现一致性hash支持ms,支持replication set，set可以自动故障转换，支持autosharding持久化支持数据完全放在内存中，没有持久化支持支持持久化，快照持久化和aof持久化1.8版本开始采用binlog方式支持持久化的可靠性内存空间优化最大内存限制，LRU算法淘汰（可选）独立的vm机制,最大内存限制，数据ttl过期设置，内存淘汰（可选）依赖于操作系统的vm管理机制,使用内存映射文件，把剩余内存作为缓存使用，没有最大内存限制，数据存在文件系统上和内存是否是多线程是，可以通过-t控制进线程数单线程多线程性能15W/s的GET,11W/s的SET单个实例qps:8.5W左右（GET/SET）（RH2285）单个qps:3.5W左右（GET/SET）（RH2285）事务支持并发场景下，用cas保证一致性事务支持比较弱，保证每个事务操作连续执行，如果一个操作失败，不会回滚。使用乐观锁实现cas。不支持事务数据分析简单的get查询功能简单查询功能,支持对集合和hash的操作等查询方便，有类似于sql的语法，支持条件查询应用场景常作为前端缓存缓存和数据存储，队列大数据量存储feature支持使用pipeline减少查询次数auto sharding，故障自动切换，mapreduce支持，大文件下的GridFs文件系统安全性问题目前没有身份验证支持密码验证（requirepass）支持collection级别的身份验证（auth）数据备份和还原数据存放于内存中，不方便备份和还原（stats cachedump）可以使用持久化做备份和还原mongodump倍份,mogorestore还原。数据导出：mongoexport,mongoimport,导出数据支持csv格式slowlog相关没有slowlog相关的设置支持slowlog，slowlog存在于数据库中，使用slowlog get获取相关日志，slowlog的大小有限制，超过后会删除旧的支持slowlog（profiling），slowlog存在于system.profile（capped collection）的collection中状态查看statsinfomongostat,db.serverStatus(),db.stats(),rs.statsu()等当前操作查看monitormongosniff,db.currentOp（)tunning1.object>2.object 的expires设置（缓存应该具有超时的特点）　　3.适合数据处理后的缓存，不适合缓存后的处理输出
1.开启vm，将不常用的value值给交换到磁盘上　　2.尽量将数据存放在内存中3.前端使用proxy或persistence
　　hash来实现均衡访问4.使用master-slave结构，做读写分离
　　5.大数据量时持久化数据dump时影响服务，应该放在slave端做6.使用pipeline聚合访问7.网卡bonding
1.索引相关(读多写少时) 2.explain解析查询　　3.限定返回条目（limit）
　　4.只查看指定需要字段，不查询所有字段
　　5.使用capped collection （特殊业务）
　　6.使用replsets,扩展整体集群能力