设为首页 收藏本站
查看: 956|回复: 0

[经验分享] MongoDB实战(4)MapReduce-Coder

[复制链接]

尚未签到

发表于 2018-10-27 10:48:08 | 显示全部楼层 |阅读模式
  在 MongoDB 上使用 Map/Reduce进行并行"统计"很容易。
  使用 MapReduce 要实现两个函数 Map 函数和 Reduce 函数,Map 函数调用 emit(key, value),
  遍历 collection 中所有的记录, 将key 与 value 传递给 Reduce 函数进行处理。
  Map函数和Reduce函数可以使用 JavaScript 来实现,可以通过 db.runCommand 或 mapReduce 命令来执行一个MapReduce 的操作:
db.runCommand(  
{
  mapReduce: ,
  map: ,
  reduce: ,
  out: ,
  query: ,
  sort: ,
  limit: ,
  finalize: ,
  scope: ,
  jsMode: ,
  verbose:
  
})
  参数说明:
  mapreduce: 要操作的目标集合。
  map: 映射函数 (生成键值对序列,作为 reduce 函数参数)。
  reduce: 统计函数。
  out: 统计结果存放集合 (不指定则使用临时集合,在客户端断开后自动删除)。
  query: 目标记录过滤
  sort: 目标记录排序。
  limit: 限制目标记录数量。
  finalize: 最终处理函数 (对 reduce 返回结果进行最终整理后存入结果集合)
  scope: 向 map、reduce、finalize 导入外部变量。
  jsMode: 是否转换Bson格式在map和reduce执行间
  verbose: 显示详细的时间统计信息。
  下面我们来搞一个例子吧:
  准备一些数据:
DSC0000.png

  接下来我们演示如何统计各个班的学生数量
  Map:
  Map 函数必须调用 emit(key, value) 返回键值对,使用 this 访问当前待处理的 Document。
m = function(){  emit(this.classid,1);
  
}
  value 可以使用 JSON Object 传递 (支持多个属性值)。
  例如:emit(this.classid, {count:1})
  Reduce:
  Reduce 函数接收的参数类似 Group 效果,将 Map 返回的键值序列组合成 { key, [value1,
  value2, value3, value...] } 传递给 reduce。
r = function(key,values){  var x = 0;
  values.forEach(function(v){x += v});
  return x;
  
}
  Reduce 函数对这些 values 进行 "统计" 操作,返回结果可以使用 JSON Object。
  Result:
DSC0001.png

  mapReduce() 将结果存储在 "students_res" 表中。
DSC0002.png

  Finalize:
  利用 finalize() 我们可以对 reduce() 的结果做进一步处理。
f = function(key,value){  return {classid:key,count:value}
  
}
  我们再重新计算一次,看看结果:
DSC0003.png

  Options:
  我们还可以添加更多的控制细节。
db.runCommand({  mapreduce:"stu",
  map:m,
  reduce:r,
  out:"stu_res",
  finalize:f,
  query:{age:{$gt:10}}
  
});
DSC0004.png

  可以看到先进行了过滤,只取 age>10 的数据,然后再进行统计,所以就没有 age=9 的数
  据了。



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627048-1-1.html 上篇帖子: MongoDB实战(3)固定集合与GridFS-Coder 下篇帖子: tomcat7,jdk7,mongoDB最新版(搭建replacia set模式),maven 服务器nexus,,svn, php
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表