设为首页 收藏本站
查看: 925|回复: 0

[经验分享] mongodb shard 分片技术

[复制链接]

尚未签到

发表于 2018-10-27 06:50:17 | 显示全部楼层 |阅读模式
  启动route process
  配置route process并且启动,代码如下:
  [root@localhost ~]# /usr/local/mongo/bin/mongos --port 40000 --configdb localhost:30000 --fork --logpath /data/shard/log/route.log --chunkSize 1
  forked process: 2911
  [root@localhost ~]# all output going to: /data/shard/log/route.log
  配置sharding
  [root@localhost ~]# /usr/local/mongo/bin/mongo --port 40000
  MongoDB shell version: 2.0.4
  connecting to: 127.0.0.1:40000/test
  mongos>
  这个地方一定要切换到admin数据库
  mongos> use admin
  switched to db admin
  mongos> db
  admin
  mongos> db.runCommand({addshard:"localhost:20000"})
  { "shardAdded" : "shard0000", "ok" : 1 }
  mongos> db.runCommand({addshard:"localhost:20001"})
  { "shardAdded" : "shard0001", "ok" : 1 }
  mongos> db.runCommand({enablesharding:"test"})
  { "ok" : 1 }
  mongos> db.runCommand({shardcollection:"test.users",key:{_id:1}})
  { "collectionsharded" : "test.users", "ok" : 1 }
  
  
  
  momongos> for(var i =1;i  db.users.find()
  { "_id" : ObjectId("53d4eefd67d21d1d69f5bcd0"), "age" : 1 }
  { "_id" : ObjectId("53d4f024b1e3fc47712a0576"), "age" : 1, "name" : "fangwei", "addr" : "hangzhou", "country" : "China" }
  { "_id" : ObjectId("53d4f024b1e3fc47712a0577"), "age" : 2, "name" : "fangwei", "addr" : "hangzhou", "country" : "China" }ngos>
  
  ---验证我们的分片
  mongos> db.users.stats()
  {
  "sharded" : true,
  "flags" : 1,
  "ns" : "test.users",
  "count" : 500001,
  "numExtents" : 17,
  "size" : 46000036,
  "storageSize" : 81166336,
  "totalIndexSize" : 18845680,
  "indexSizes" : {
   "_id_" : 18845680
  },
  "avgObjSize" : 91.999888000224,
  "nindexes" : 1,
  "nchunks" : 37,
  "shards" : {
   "shard0000" : {
    "ns" : "test.users",
    "count" : 197093,
    "size" : 18132500,
    "avgObjSize" : 91.99971587017296,
    "storageSize" : 33333248,
    "numExtents" : 8,
    "nindexes" : 1,
    "lastExtentSize" : 12083200,
    "paddingFactor" : 1,
    "flags" : 1,
    "totalIndexSize" : 8969072,
    "indexSizes" : {
     "_id_" : 8969072
    },
    "ok" : 1
   },
   "shard0001" : {
    "ns" : "test.users",
    "count" : 302908,
    "size" : 27867536,
    "avgObjSize" : 92,
    "storageSize" : 47833088,
    "numExtents" : 9,
    "nindexes" : 1,
    "lastExtentSize" : 14499840,
    "paddingFactor" : 1,
    "flags" : 1,
    "totalIndexSize" : 9876608,
    "indexSizes" : {
     "_id_" : 9876608
    },
    "ok" : 1
   }
  },
  "ok" : 1
  }
  mongos>
  
  查看磁盘上物理文件分布情况
  mongos> exit
  bye
  [root@localhost ~]# ll /data/shard/s0/test
  total 213004
  -rw-------. 1 root root  67108864 Jul 27 20:28 test.0
  -rw-------. 1 root root 134217728 Jul 27 20:09 test.1
  -rw-------. 1 root root  16777216 Jul 27 20:28 test.ns
  drwxr-xr-x. 2 root root      4096 Jul 27 20:09 _tmp
  [root@localhost ~]#
  [root@localhost ~]# ll /data/shard/s1/test
  total 475148
  -rw-------. 1 root root  67108864 Jul 27 20:38 test.0
  -rw-------. 1 root root 134217728 Jul 27 20:27 test.1
  -rw-------. 1 root root 268435456 Jul 27 20:27 test.2
  -rw-------. 1 root root  16777216 Jul 27 20:38 test.ns
  drwxr-xr-x. 2 root root      4096 Jul 27 20:27 _tmp
  [root@localhost ~]#
  ---列出所有的shard server
  mongos> use admin
  switched to db admin
  mongos> db.runCommand({listshards:1})
  {
  "shards" : [
   {
    "_id" : "shard0000",
    "host" : "localhost:20000"
   },
   {
    "_id" : "shard0001",
    "host" : "localhost:20001"
   }
  ],
  "ok" : 1
  }
  -----查看sharding信息
  mongos> printShardingSizes()
  --- Sharding Status ---
   sharding version: { "_id" : 1, "version" : 3 }
   shards:
       { "_id" : "shard0000", "host" : "localhost:20000" }
       { "_id" : "shard0001", "host" : "localhost:20001" }
   databases:
  { "_id" : "admin", "partitioned" : false, "primary" : "config" }
  { "_id" : "test", "partitioned" : true, "primary" : "shard0000" }
   test.users chunks:
    { "_id" : { $minKey : 1 } } -->> { "_id" : ObjectId("53d4eefd67d21d1d69f5bcd0") } on : shard0000 { "estimate" : false, "size" : 0, "numObjects" : 0 }
    { "_id" : ObjectId("53d4eefd67d21d1d69f5bcd0") } -->> { "_id" : ObjectId("53d4f024b1e3fc47712a1dd6") } on : shard0000 { "estimate" : false, "size" : 574116, "numObjects" : 6241 }
  
  -------判断是佛sharding
  > db.runCommand({isdbgrid:1})
  { "isdbgrid" : 1, "hostname" : "localhost.mongo102", "ok" : 1 }
  >
  ----------对现有表执行sharding
  > db
  test
  > db.users_2.stats()
  {
  "sharded" : false,                               ---------------------可看出没有分表
  "primary" : "shard0000",
  "errmsg" : "ns not found",
  "ok" : 0
  }
  对其进行分表
  > db
  admin
  > db.runCommand({shardcollection:"test.users_2",key:{_ud:1}})
  { "collectionsharded" : "test.users_2", "ok" : 1 }
  > use test
  switched to db test
  > db.users_2.stats()
  {
  "sharded" : true,
  "flags" : 1,
  "ns" : "test.users_2",
  "count" : 0,
  "numExtents" : 1,
  "size" : 0,
  "storageSize" : 8192,
  "totalIndexSize" : 16352,
  "indexSizes" : {
   "_id_" : 8176,
   "_ud_1" : 8176
  },
  "avgObjSize" : 0,
  "nindexes" : 2,
  "nchunks" : 1,
  "shards" : {
   "shard0000" : {
    "ns" : "test.users_2",
    "count" : 0,
    "size" : 0,
    "storageSize" : 8192,
    "numExtents" : 1,
    "nindexes" : 2,
    "lastExtentSize" : 8192,
    "paddingFactor" : 1,
    "flags" : 1,
    "totalIndexSize" : 16352,
    "indexSizes" : {
     "_id_" : 8176,
     "_ud_1" : 8176
    },
    "ok" : 1
   }
  },
  "ok" : 1
  }
  >
  -------新增shard server 分片
  [root@localhost ~]# mkdir /data/shard/s2
  [root@localhost ~]# /usr/local/mongo/bin/mongod --shardsvr --port 20002 --dbpath /data/shard/s2 --fork --logpath /data/shard/log/s2.log --directoryperdb
  [root@localhost ~]# forked process: 3480
  all output going to: /data/shard/log/s2.log
  [root@localhost ~]# /usr/local/mongo/bin/mongo --port 40000
  MongoDB shell version: 2.0.4
  connecting to: 127.0.0.1:40000/test
  mongos> db
  test
  mongos> use admin
  switched to db admin
  mongos> db.runCommand({addshard:"localhost:20002"})
  { "shardAdded" : "shard0002", "ok" : 1 }
  mongos>


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-626901-1-1.html 上篇帖子: MongoDB索引文件破坏后导致查询错误的问题 下篇帖子: mongodb集群中导出数据库中的一个表
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表