MongoDB集群插入数据测试

waid

　　上一篇建好的MongoDB集群中插入数据，看看性能如何。
　　向test数据库的test集合插入五百万数据
　　用时约11分钟

　　查看集合状态
　　

• mongos> db.test.stats(1024)
  
• {
  
•         "sharded" : true,
  
•         "ns" : "test.test",
  
•         "count" : 5000000,
  
•         "numExtents" : 61,
  
•         "size" : 273436,
  
•         "storageSize" : 839500,
  
•         "totalIndexSize" : 158685,
  
•         "indexSizes" : {
  
•                 "_id_" : 158685
  
•         },
  
•         "avgObjSize" : 0.0546872,
  
•         "nindexes" : 1,
  
•         "nchunks" : 29,
  
•         "shards" : {
  
•                 "shard1" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 0,
  
•                         "size" : 0,
  
•                         "storageSize" : 18460,
  
•                         "numExtents" : 8,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 7468,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 7,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 7
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard2" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 1256764,
  
•                         "size" : 68729,
  
•                         "avgObjSize" : 0.054687276210967216,
  
•                         "storageSize" : 121032,
  
•                         "numExtents" : 11,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 36744,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 39834,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 39834
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard3" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 3642282,
  
•                         "size" : 199187,
  
•                         "avgObjSize" : 0.05468741849203329,
  
•                         "storageSize" : 328024,
  
•                         "numExtents" : 14,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 90412,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 115621,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 115621
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard4" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 100954,
  
•                         "size" : 5520,
  
•                         "avgObjSize" : 0.05467836836579036,
  
•                         "storageSize" : 21980,
  
•                         "numExtents" : 7,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 11060,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 3209,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 3209
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard5" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 0,
  
•                         "size" : 0,
  
•                         "storageSize" : 328024,
  
•                         "numExtents" : 14,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 90412,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 7,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 7
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard6" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 0,
  
•                         "size" : 0,
  
•                         "storageSize" : 21980,
  
•                         "numExtents" : 7,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 11060,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 7,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 7
  
•                         },
  
•                         "ok" : 1
  
•                 }
  
•         },
  
•         "ok" : 1
  
• }
  

　　

　　向test数据库的test集合插入一千万数据
　　用时约33分钟

　　查看集合状态
　　

• mongos> db.test.stats(1024)
  
• {
  
•         "sharded" : true,
  
•         "ns" : "test.test",
  
•         "count" : 10000000,
  
•         "numExtents" : 81,
  
•         "size" : 546873,
  
•         "storageSize" : 1542568,
  
•         "totalIndexSize" : 316959,
  
•         "indexSizes" : {
  
•                 "_id_" : 316959
  
•         },
  
•         "avgObjSize" : 0.0546873,
  
•         "nindexes" : 1,
  
•         "nchunks" : 39,
  
•         "shards" : {
  
•                 "shard1" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 3231299,
  
•                         "size" : 176711,
  
•                         "avgObjSize" : 0.054687294490543895,
  
•                         "storageSize" : 307628,
  
•                         "numExtents" : 16,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 82448,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 102391,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 102391
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard2" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 2710175,
  
•                         "size" : 148212,
  
•                         "avgObjSize" : 0.05468724344368906,
  
•                         "storageSize" : 237612,
  
•                         "numExtents" : 13,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 66972,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 85935,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 85935
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard3" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 0,
  
•                         "size" : 0,
  
•                         "storageSize" : 328024,
  
•                         "numExtents" : 14,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 90412,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 7,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 7
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard4" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 1936150,
  
•                         "size" : 105883,
  
•                         "avgObjSize" : 0.05468739508819048,
  
•                         "storageSize" : 170640,
  
•                         "numExtents" : 12,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 49608,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 61359,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 61359
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard5" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 0,
  
•                         "size" : 0,
  
•                         "storageSize" : 328024,
  
•                         "numExtents" : 14,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 90412,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 7,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 7
  
•                         },
  
•                         "ok" : 1
  
•                 },
  
•                 "shard6" : {
  
•                         "ns" : "test.test",
  
•                         "count" : 2122376,
  
•                         "size" : 116067,
  
•                         "avgObjSize" : 0.05468729386310437,
  
•                         "storageSize" : 170640,
  
•                         "numExtents" : 12,
  
•                         "nindexes" : 1,
  
•                         "lastExtentSize" : 49608,
  
•                         "paddingFactor" : 1,
  
•                         "systemFlags" : 1,
  
•                         "userFlags" : 0,
  
•                         "totalIndexSize" : 67260,
  
•                         "indexSizes" : {
  
•                                 "_id_" : 67260
  
•                         },
  
•                         "ok" : 1
  
•                 }
  
•         },
  
•         "ok" : 1
  
• }
  

　　

　　解释一下查看集合状态的db.colletion.stats(scale)方法
　　db.collection.stats()返回值都是按照字节处理
　　你可以设定比例参数scale的值来调整，例如scale设为1024，则返回结果某些值按KB处理
　　返回值各字段解释：
　　sharded：是否可分片
　　ns：命名空间，按照格式[database].[collection]
　　count：该集合中的对象或文档数
　　numExtents：连续的数据文件区域总数。
　　Size：集合中数据的大小【scale值有影响】
　　storageSize：分配给该集合的文档存储空间，该值不会减少。【scale值有影响】
　　totalIndexSize：所有索引的总大小。【scale值有影响】
　　indexSizes：该值表示集合中所有存在的索引。【scale值有影响】
　　avgObjSize：集合中对象的平均大小。【scale值有影响】
　　nindexes：集合的索引数，所有集合至少有一个索引在_id字段。
　　nchunks：集合分块数。
　　lastExtentSize：最近分配的扩展大小。【scale值有影响】
　　paddingFactor：插入的时候在每个文档末尾增加的空间。这提供一个很小的额外磁盘空间让文档有些微的增长而不需要移动文档。mongod会自动计算该值
　　systemFlags：2.2版新特性。反映该集合内部服务选项的标志。如1代表在_id字段有索引。
　　userFlags：2.2版新特性。用户设置该集合的标志。在2.2版中唯一的用户标志是 usePowerOf2Sizes。如果usePowerOf2Sizes是可用的，userFlags就是1，其余都是0.
　　查看各复制集情况
　　shard1复制集
　　

• {
  
•         "set" : "shard1",
  
•         "date" : ISODate("2013-01-13T14:27:13Z"),
  
•         "myState" : 1,
  
•         "members" : [
  
•                 {
  
•                         "_id" : 1,
  
•                         "name" : "10.50.9.12:27017",
  
•                         "health" : 1,
  
•                         "state" : 1,
  
•                         "stateStr" : "PRIMARY",
  
•                         "uptime" : 99645,
  
•                         "optime" : Timestamp(1358086947000, 1),
  
•                         "optimeDate" : ISODate("2013-01-13T14:22:27Z"),
  
•                         "self" : true
  
•                 },
  
•                 {
  
•                         "_id" : 2,
  
•                         "name" : "10.50.9.13:27018",
  
•                         "health" : 1,
  
•                         "state" : 2,
  
•                         "stateStr" : "SECONDARY",
  
•                         "uptime" : 99643,
  
•                         "optime" : Timestamp(1358086947000, 1),
  
•                         "optimeDate" : ISODate("2013-01-13T14:22:27Z"),
  
•                         "lastHeartbeat" : ISODate("2013-01-13T14:27:12Z"),
  
•                         "pingMs" : 0
  
•                 },
  
•                 {
  
•                         "_id" : 3,
  
•                         "name" : "10.50.9.13:27019",
  
•                         "health" : 1,
  
•                         "state" : 2,
  
•                         "stateStr" : "SECONDARY",
  
•                         "uptime" : 99643,
  
•                         "optime" : Timestamp(1358086947000, 1),
  
•                         "optimeDate" : ISODate("2013-01-13T14:22:27Z"),
  
•                         "lastHeartbeat" : ISODate("2013-01-13T14:27:11Z"),
  
•                         "pingMs" : 0
  
•                 }
  
•         ],
  
•         "ok" : 1
  
• }
  

　　

　　【太多字符，差不多的内容就不发了哎╮(╯▽╰)╭】
　　各字段解释：
　　set：复制集名
　　date：当前的ISO时间
　　myState：表明当前复制集状态，0~10分别代表
　　编号状态
　　0启动，1 阶段（分配配置）
　　1主
　　2次要
　　3还原（初始同步，后回滚，停滞成员）
　　4严重错误
　　5启动，2 阶段（分叉线程）
　　6未知状态（副本集从未连接到成员）
　　7仲裁程序
　　8死机
　　9回滚
　　10已删除
　　
　　syncingTo：只会在副节点出现，保存正在同步的实例的地址。
　　members：保存复制集中的每个成员信息。
　　name：该成员所在的地址。
　　health：健康状态，1表明正在运行，0表明不运行。
　　State：
　　编号状态
　　0启动，1 阶段（分配配置）
　　1主
　　2次要
　　3还原（初始同步，后回滚，停滞成员）
　　4严重错误
　　5启动，2 阶段（分叉线程）
　　6未知状态（副本集从未连接到成员）
　　7仲裁程序
　　8死机
　　9回滚
　　10已删除
　　
　　stateStr：描述成员状态的字符串。
　　Uptime：启动至今的秒数。
　　Optime：包含最近操作日志中该成员应用了的操作信息。
　　optimeDate：最近该成员访问操作日志的时间。
　　lastHeartbeat：最近从该成员得到的心跳信息的时间。
　　pingMs：往返包在远程成员和本地实例的来回时间（毫秒）。
　　Self：该查看复制集信息文档存储在当前mongod实例，值为true。
　　数据插入脚本
　　可直接在mongo下执行下列javascript代码
　　插入五百万数据
　　for(var i=0; i