mongodb和redis设计原理简析

iyth888

redis: 1、NIO通信    因都在内存操作，所以逻辑的操作非常快，减少了CPU的切换开销，所以为单线程的模式（逻辑处理线程和主线程是一个）。    reactor模式，实现自己的多路复用NIO机制（epoll，select，kqueue等）   单线程处理多任务
2、数据结构   hash+bucket结构，当链表的长度过长时，会采取迁移的措施（扩展原来两倍的hash表，把数据迁移过去，expand+rehash）
3、存储全量持久化（遍历redisDB,读取bucket中的key,value），save命令阻塞主线程，bgsave开启子进程进行snapshot持久化操作，生成rdb文件。           在shutdown时，会调用save操作          数据发生变化，在多少秒内触发一次bgsave           sync，master接受slave发出来的命令
增量持久化（aof），先写到日志buffer,再flush到日志文件中（flush的策略可以配置的，而已单条，也可以批量），       只有flush到文件上的，才真正返回客户端。        要定时对aof文件和rdb文件做合并操作（在快照过程中，变化的数据先写到aof buf中，等子进程完成快照<内存snapshot>后，再进行合并aofbuf变化的部分以及全镜像数据）。 mongodb:1、通信
多线程方式，主线程监听新的连接，连接后，启动新的线程做数据的操作（IO切换），dispatch和io操作分析以下是相关的线程　　– interruptThread---只处理信号量。
　　– DataFileSync::run(后台)---调用MemoryMappedFile::flush方法将内存中的数据（脏页）刷到磁盘上。 我们知道，mongodb是调用mmap把磁盘中的数据映射到内存中的，所以必须有一个机制时刻的刷数据到硬盘才能保证可靠性，多久刷一次是与syncdelay参数相关的。
　　– FileAllocator::run---用于分配新文件，它决定分配文件的大小，例如用翻倍的方式。
　　– durThread--做批量提交和回滚工作。
　　– SnapshotThread::run---将生成快照文件帮助快速恢复
　　– ClientCursorMonitor::run---将管理用户的游标，每4秒调用一次idleTimeReport()方法，每一分钟调用sayMemoryStatus()方法
　　– PeriodicTask::Runner::run---将从动态数组std::vector<PeriodicTask* > _tasks中获取周期性任务执行
　　– TTLMonitor::run---理TTL，通过调用doTTLForDB()方法检查所有db。
　　– replSlaveThread---是当前结点作为secondary时的同步线程
　　– replMasterThread---是当前结点作为master时的同步线程。
　　– webServerThread
　　– 处理数据库请求的主线程
　　

2、数据结构
数据库-->collection-->record
每一个数据库都有自己独立的文件。如果你开启了directoryperdb选项，那你每个库的文件会单独放在一个文件夹里。
数据库文件在内部会被切分成单个的块，每个块只保存一个名字空间的数据。在MongoDB中，名字空间用于区分不同的存储类别。比如每个collection有一个独立的名字空间，每个索引也有自己的名字空间。
在一个块中，会保存多条记录，每条记录是BSON&#26684;式的，记录与记录之间通过双向链表进行连接。
索引数据也存在数据文件中，不过索引是被组织成B Tree结构，而不是双向链表。
对每个数据库，有一个命名空间文件，用于保存每个名字空间对应的元数据。我们通过查询这些元数据来找到对应的名字空间的存储块位置。
如果你开启了jorunaling日志，那么还会有一些文件存储着你所有的操作记录

3、存储  MMap方式把文件地址映射到内存的地址空间，直接操作内存地址空间就可以操作文件，不用再调用write,read操作。　　– DataFileSync::run(后台)---调用MemoryMappedFile::flush方法将内存中的数据（脏页）刷到磁盘上。 我们知道，mongodb是调用mmap把磁盘中的数据映射到内存中的，所以必须有一个机制时刻的刷数据到硬盘才能保证可靠性，多久刷一次是与syncdelay参数相关的。
　　journal（进行恢复用）是Mongodb中的redo log，而Oplog则是负责复制的binlog（对应Mysql）。
　　
　　如果打开journal，那么即使断电也只会丢失100ms的数据，这对大多数应用来说都可以容忍了。从1.9.2&#43;
　　，mongodb都会默认打开journal功能，以确保数据安全。而且journal的刷新时间是可以改变的，2-300ms的
　　范围,使用 --journalCommitInterval 命令。
　　Oplog和数据刷新到磁盘的时间是60s，对于复制来说，不用等到oplog刷新磁盘，在内存中就可以直接复
　　制到Sencondary节点。
         版权声明：本文为博主原创文章，未经博主允许不得转载。