Mongodb和KT的双机房灾备配置方案尝试

lichengcom2009

　　假设有2个机房（测试服务器2/3以及123/124）互为灾备（灾备机房在主机房对外服务时处于待命），应用都只连接自己机房的存储服务（mongodb1.6.5和kt 0.9.28），两个机房之间的存储服务需要相互同步，尝试方案如下：
  

编号	机器IP和端口	服务	备注
1	192.168.2.2:10000	主机房Mongodb masterA	和8双向同步
2	192.168.2.2:20000	主机房Mongodb replica set1	2，5，9，12是数据节点，7，14是鉴证节点
3	192.168.2.2:30000	主机房Kt node1	和10双向同步
4	192.168.2.3:10000	主机房Mongodb slaveA	从1，8复制数据
5	192.168.2.3:20000	主机房Mongodb replica set2	2，5，9，12是数据节点，7，14是鉴证节点
6	192.168.2.3:30000	主机房Kt node2	和13双向同步
7	192.168.2.3:40000	主机房Mongodb replica arb1	鉴证服务器1
8	192.168.2.123:10000	灾备机房Mongodb masterB	和1双向同步
9	192.168.2.123:20000	灾备机房Mongodb replica set3	2，5，9，12是数据节点，7，14是鉴证节点
10	192.168.2.123:30000	灾备机房Kt node1	和3双向同步
11	192.168.2.124:10000	灾备机房Mongodb slaveB	从1，8复制数据
12	192.168.2.124:20000	灾备机房Mongodb replica set4	2，5，9，12是数据节点，7，14是鉴证节点
13	192.168.2.124:30000	灾备机房Kt node2	和6双向同步
14	192.168.2.124:40000	灾备机房Mongodb replica arb2	鉴证服务器2

  　　此套配置特点如下：
　　1 Mongodb Master / Slave 结构数据保存4份
　　2 Mongodb Replica Sets 结构数据保存4份
　　3 KT2个节点，每一个节点数据保存2份（如果把KT像memcached那样使用，在客户端hash key到不同节点的话，需要客户端支持对于不同的服务器IP可以使用相同的hash，也就是不以endpoint作为hash的值，在故障转移之后保持相同key存和取相同的节点，这仅是客户端的逻辑，对于服务端来只需要考虑一组节点之间的同步）
　　4 切换到灾备机房之后，不需要做任何配置改动，主机房起来之后，需要确定Replica Set的活动服务器在灾备机房，否则可能会存在灾备机房的应用还是在访问主机房的存储服务
　　说明：
　　1 之所以除了4个replica set还需要两个鉴证节点是因为经测试如果同一机房两个replica set快速关闭的话，不能正确选举master，如果不需要保证同一机房数据备份的话，可以考虑只用两个数据节点
　　2 经测试发现如果11不订阅1，只能接受8的数据改动，1的数据改动不会过来，这也是Mongodb的一个缺陷吧，不能级联复制，如果订阅1，那么会在专线中产生两份带宽
　　
　　具体配置如下
　　192.168.2.2
　　mongodb主端口 10000/11000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --master --slave --source 192.168.2.123:10000 --slavedelay 10 --autoresync
　　mongodb relica set 1 端口 20000/21000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000
　　config = {_id: 'blub', members: [
　　{_id: 0, host: '192.168.2.2:20000'},
　　{_id: 1, host: '192.168.2.3:20000'},
　　{_id: 2, host: '192.168.2.123:20000'},
　　{_id: 3, host: '192.168.2.124:20000'},
　　]}
　　rs.initiate(config)
　　rs.status()
　　rs.addArb("192.168.2.124:40000")
　　rs.addArb("192.168.2.3:40000")
　　kt node1 端口 30000/31000
　　kchashmgr create /opt/kt/30000.kch
　　ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 1 -mhost 192.168.2.123 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch
　　192.168.2.3
　　mongodb从端口 10000/11000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend –slave --slavedelay 2 --autoresync
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 10000
　　use local
　　db.sources.insert({"host":"192.168.2.2:10000"});
　　db.sources.insert({"host":"192.168.2.123:10000"});
　　mongodb relica set 2 端口 20000/21000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 40000 --dbpath /opt/mongodb/40000 --logpath /opt/mongodb/40000/log --replSet blub --rest --oplogSize 1 –logappend
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000
　　config = {_id: 'blub', members: [
　　{_id: 0, host: '192.168.2.2:20000'},
　　{_id: 1, host: '192.168.2.3:20000'},
　　{_id: 2, host: '192.168.2.123:20000'},
　　{_id: 3, host: '192.168.2.124:20000'},
　　]}
　　rs.initiate(config)
　　rs.status()
　　rs.addArb("192.168.2.124:40000")
　　rs.addArb("192.168.2.3:40000")
　　kt node2 端口 30000/31000
　　kchashmgr create /opt/kt/30000.kch
　　ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 1 -mhost 192.168.2.124 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch
　　192.168.2.123
　　mongodb主端口 10000/11000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --master --slave --source 192.168.2.2:10000 --slavedelay 10 --autoresync
　　mongodb relica set 3 端口 20000/21000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 –logappend
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000
　　config = {_id: 'blub', members: [
　　{_id: 0, host: '192.168.2.2:20000'},
　　{_id: 1, host: '192.168.2.3:20000'},
　　{_id: 2, host: '192.168.2.123:20000'},
　　{_id: 3, host: '192.168.2.124:20000'},
　　]}
　　rs.initiate(config)
　　rs.status()
　　rs.addArb("192.168.2.124:40000")
　　rs.addArb("192.168.2.3:40000")
　　kt node1 端口 30000/31000
　　kchashmgr create /opt/kt/30000.kch
　　ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 2 -mhost 192.168.2.2 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" -dmn /opt/kt/30000.kch
　　192.168.2.124
　　mongodb从端口 10000/11000
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 10000 --dbpath /opt/mongodb/10000 --logpath /opt/mongodb/10000/log --rest --oplogSize 1024 --logappend --slave --slavedelay 2 --autoresync
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 10000
　　use local
　　db.sources.insert({"host":"192.168.2.123:10000"});
　　db.sources.insert({"host":"192.168.2.2:10000"});
　　mongodb relica set 4
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 20000 --dbpath /opt/mongodb/20000 --logpath /opt/mongodb/20000/log --replSet blub --rest --oplogSize 1024 --logappend
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongod --fork --port 40000 --dbpath /opt/mongodb/40000 --logpath /opt/mongodb/40000/log --replSet blub --rest --oplogSize 1 --logappend
　　/root/mongodb-linux-x86_64-1.6.5/bin/mongo --port 20000
　　config = {_id: 'blub', members: [
　　{_id: 0, host: '192.168.2.2:20000'},
　　{_id: 1, host: '192.168.2.3:20000'},
　　{_id: 2, host: '192.168.2.123:20000'},
　　{_id: 3, host: '192.168.2.124:20000'},
　　]}
　　rs.initiate(config)
　　rs.status()
　　rs.addArb("192.168.2.124:40000")
　　rs.addArb("192.168.2.3:40000")
　　kt node2 端口 30000/31000 （和192.168.2.4:30000同步）
　　kchashmgr create /opt/kt/30000.kch
　　ktserver -port 30000 -ulog /opt/kt/30000-ulog -sid 2 -mhost 192.168.2.3 -mport 30000 -rts /opt/kt/30000.rts -plsv /usr/local/libexec/ktplugservmemc.so -plex "port=31000#opts=f" dmn /opt/kt/30000.kch