Mongodb分片(Sharding)功能实现

zhk2369

MongoDB 分片概述
分片
　　在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。
　　当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。
为什么使用分片

• 　　复制所有的写入操作到主节点
  
• 　　延迟的敏感数据会在主节点查询
  
• 　　单个副本集限制在12个节点
  
• 　　当请求量巨大时会出现内存不足。
  
• 　　本地磁盘不足
  
• 　　垂直扩展价格昂贵
  

MongoDB分片
　　下图展示了在MongoDB中使用分片集群结构分布：

　　上图中主要有如下所述三个主要组件：

• 　　Shard:
  　　用于存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replica set承担，防止主机单点故障
  
• 　　Config Server:
  　　mongod实例，存储了整个 ClusterMetadata，其中包括 chunk信息。
  
• 　　Query Routers:
  　　前端路由，客户端由此接入，且让整个集群看上去像单一数据库，前端应用可以透明使用。
  

分片实例
　　192.168.1.100 :   mongos
　　192.168.1.110 :   config server
　　192.168.1.101 :   Shard1
　　192.168.1.102 :   Shard2
　　以上四个主机上都以安装mongodb数据库。
　　一.配置config server
　　编辑配置文件mongod.conf:
vim /etc/mongod.conf　　添加如下并启用config server服务:
configsvr=true　　重新启动mongodb服务:
service mongod restart　　注:默认监听27019端口。也可以使用如下命令启动mongod进程。
# mongod --configsvr --dbpath  --port 　　此时，默认端口由27017变为27019：

　　二.配置mongos实例
　　
　　安装mongos:
yum install mongodb-org-mongos-2.6.1-1.x86_64.rpm　　启动mongos：
mongos --configdb=192.168.1.110 --fork --logpath=/var/log/mongodb/mongos.log　　注:mongos属于轻量级应用，完全可以与其它服务运行于同一节点；启动时，需要为mongos实例指明各config服务器的访问地址；
　　默认情况下，mongos监听于27017端口；可以使用如下命令启动mongos实例。
# mongos --configdb 　　也可以直接编辑配置文件：
　　1、注释dbpath指令；
　　2、添加configdb指令，并指定config服务器的地址；
　　而后使用如下命令启动mongos实例：
# mongos -f /etc/mongod.conf　　登录mongos并配置shard节点：
mongo --host 192.168.1.100　　
mongos> sh.addShard("192.168.1.101")
　　
{ "shardAdded" : "shard0000", "ok" : 1 }
　　
mongos> sh.addShard("192.168.1.102")
　　
{ "shardAdded" : "shard0001", "ok" : 1 }
　　查看shard状态：
mongos> sh.status()　　
--- Sharding Status ---
　　
  sharding version: {
　　
"_id" : 1,
　　
"version" : 4,
　　
"minCompatibleVersion" : 4,
　　
"currentVersion" : 5,
　　
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
　　
}
　　
  shards:
　　
{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" }
　　
{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" }
　　
  databases:
　　
{  "_id" : "admin",  "partitioned" : false,  "primary" : "config" }
　　启动sharding功能：
mongos> sh.enableSharding("testdb")；　　
{ "ok" : 1 }
　　注:mongodb的shard功能实现于collection级别，但若要在collection上启动shard，还需要事先其相关的数据库上启用之。在数据库上启用shard功能后，MongoDB会为其指定一个主shard。
　　启用过程需要mongos实例上实现，可以使用sh.enableSharding()方法，也可以使用db.runCommand()的“enableSharding命令，它们的使用格式分别如下所示：
sh.enableSharding("")　　
db.runCommand( { enableSharding:  } )
　　此时，再次查看shard状态为:
mongos> sh.status()　　
--- Sharding Status ---
　　
  sharding version: {
　　
"_id" : 1,
　　
"version" : 4,
　　
"minCompatibleVersion" : 4,
　　
"currentVersion" : 5,
　　
"clusterId" : ObjectId("58d4bd8a102ad4bdad74aa1d")
　　
}
　　
  shards:
　　
{  "_id" : "shard0000",  "host" : "192.168.1.101:27017" }
　　
{  "_id" : "shard0001",  "host" : "192.168.1.102:27017" }
　　
  databases:
　　
{  "_id" : "testdb",  "partitioned" : true,  "primary" : "shard0000" }
　　测试：
　　在collection上进行sharding:
mongos> sh.shardCollection("testdb.student",{"age":1})　　
{ "collectionsharded" : "testdb.student", "ok" : 1 }
　　插入数据:
mongos> for (i=1;i