Hadoop Mapreduce 连接（Join）之四：选择最佳连接策略

4rrr

4.1.4 为你的数据选择最佳连接策略

已介绍的每个连接策略都有不同的优点和缺点。那么，你怎么来判断哪个最适合你的数据？

图4.11给出了一个决策树。这个决策树是于论文《A Comparison of Join Algorithms》中提到的一个决策树的改进版本。

图4.11中的决策树可以归纳为以下三点：

• 如果数据集中有一个足够小到可以放到mapper的内存中，那么map端的复制连接就足够了。
• 如果每个数据集都很大，同时其中一个数据集可以在经过一定条件过滤以后大幅度地减小，那么半连接将会很有效。
• 如果你无法预处理你的数据，并且数据集大到不能够被缓存，那么你就需要在reducer中使用重分区连接了。
  

因为MapReduce将map的输出键排序并关联到一起，在reduce端执行连接是可能的。在下一个部分中，我们将研究MapReduce的一般排序技术。