转-Hadoop虽强大，但不是万能的

xsmscb

　　注：本文翻译自 http://www.cyanny.com/2013/12/05/hadoop-isnt-silver-bullet/
　　Hadoop是一个分布式海量数据计算的伟大框架。但是，hadoop并不是万能的。比如，以下场景就不适合用hadoop：
　　1、低延迟数据访问
　　需要实时查询并在毫秒级内进行低延时访问数据就不适合用hadoop。Hadoop并不适用于数据库。
　　数据库的索引记录可降低延时的时间，提高响应的速度。但是，如果你在数据库这方面确实有
　　实时查询的需求，可以尝试一下HBase，这是一个适合随机访问和实时读写的列式数据库。
　　2、结构化的数据
　　Hadoop不适用于处理关联紧密的结构化数据，但非常适合处理半结构化和非结构化的数据。
　　它以文件形式存储数据，不像RDBMS使用索引来存储。因此，每一个查询都要用mapReduce作业
　　来处理，这样就面临着延时问题。
　　3、数据量并不大的时候
　　Hadoop到底处理多大的数据量呢？答案是TB或PB级别。当待分析的数据只有几十个G的时候，
　　使用hadoop并不划算。不要一味跟随潮流的去使用hadoop，而要看看你自己的需求。
　　4、大量的小文件
　　当有大量的小文件时，由于NameNode需存储block块的映射信息和元数据信息，导致namenode面
　　临着巨大的内存压力。为了解决nameNode的这个瓶颈，hadoop使用了HDFS Federation（联邦）机制。
　　5、频繁的写操作和文件更新
　　HDFS使用一次写入多次读取的方式。当有太多的文件需要更新时，hadoop并支持这种情况。
　　6、MapReduce（以下简称MR）或许不是最佳的选择
　　MapReduce是一个简单的并行编程模型。由于并行性，因此你需要确保每一个MR作业所处
　　理的数据和其他的作业相互独立开来。每个MR不应该有依赖关系。
　　如果你在MR中共享一些数据的话，你可以这样做：
　　迭代：运行多个MR作业，前一个的输出结果作为下一个作业的输入。
　　共享状态信息：不要在内存中共享信息，因为每个MR作业是运行在单个JVM实例上的。