MongoDB: 聚集管道

341243

在MongoDB2.2新出现的。
聚集管道式基于数据处理管道概念建模的数据聚集框架。文档进入一个多阶段能将该文档转化为聚集结果的管道。
聚集管道提供了map-reduce方法了替代物，并在很多聚集任务中是首选的方案，因为map-reduce的复杂性可能是你不希望看到的。




上图是一个带注释的聚集管道的操作，有两个阶段：$match和$group
聚集管道在值的类型和结果大小上有很多限制。下面简单介绍，
聚集操作在使用aggregate命令时有的限制：

• 类型限制
  

聚集管道不是在下列类型的值上进行操作：Symbol,Minkey,MaxKey,DBRef,Code和CodeWSrope
（在MongoDB2.4版本解除了对Binary类型的限制。在MongoDB2.2,管道不能对Binary类型数据操作）

• 结果大小限制
  

如果aggregate命令返回的单个文档保护完整的结果集，则该命令在结果集超过BSON Document Size限制时会产生一个错误，目前的大小是16M。为了管理超过这一限制的结果集，aggregate命令当命令返回一个游标(cursor)或把结果保存在一个collection里时，能够返回任意大小的结果集。
（在MongoDB2.6,aggregate命令返回一个游标或把结果存在一个collection时，能不受这个大小限制。db.collection.aggregate()返回一个游标，能返回任意大小的结果集。）

• 内存限制
  

在MongoDB2.6有了变化。
管道阶段在RAM有100M的限制。如果超过这一限制，MongoDB会出错。为了允许操作大型数据，可以使用allowDiskUse选项来时聚集管道阶段能往临时文件写数据。


管道

管道，顾名思义就是来自集合的文档通过一个聚集管道的旅行，当通过其中时该管道能转化这些对象。对熟悉Unix shells命令的(如 bash)，这个概念和管道(pipe)很类似。
MongoDB的聚集管道以一个集合的文档开始，流动文档从一个管道操作（pipeline operator）到下一个来处理文档。在管道的每一个操作符在文档经过管道时都会转化文档。管道操作符不需要为每一个输入文档产生一个输出文档。操作符可以产生新文档也能过滤文档。管道操作能在一个管道里面重复。


管道表达式
每一个管道操作符接受一个管道表达式作为操作数。管道表达式指出应用在输入文档的转化过程。表达式有一个文档(document)结构，并包含字段，值和操作符。
管道表达式只能操作在管道中的当前文档，不能引用在其他文档的数据：表达式提供了内存（in-memory)文档转化。
一般的，表达式是无状态的，只在聚集过程时有一个例外：Accumulation expressions。累加表达式，使用$group管道，维持他们的状态（如，totals,maximums,mininums和相关数据）作为通过管道的文档过程。


聚集管道行为
在MongoDB，aggregate命令操作单个集合，并在逻辑上传递整个文档给聚集管道。为了优化这个操作，在可能的情况下，应该使用下面策略来避免扫描整个集合。

• 管道操作符和索引
  

$match和$sort管道操作符能够利用索引的优势，如果他们在管道的开始位置出现。
(在Mongo2.4新出现的：$geoNear管道操作符能利用地理索引的优势。当使用$geoNear，$geoNear必须在聚集管道的第一阶段出现。）
即使管道使用了索引，聚合操作依然要访问实际的文档。比如，索引不能完全覆盖聚集管道。
（在Mongo2.6之前的版本，对规模非常小的选择情况，索引能够覆盖管道）


提前过滤
如果你的聚集应用仅需要一个集合的一个数据子集，使用 $match，$limit，$skip阶段在文档进入管道时去限制文档．当被放置在管道的开始，$match操作符使用合适的索引去扫描集合匹配的文档．
在管道的开始紧跟着$sort阶段放置$match在逻辑上等价于一个使用排序的单一查询，并可以使用索引．如果可能的话，把$match放置在管道的开头．