Hadoop+MongoDB的四种方案

760176104

　　背景：
　　公司核心业务库现存在MongoDB中，分布在6台MongoDB节点。现面临如下问题：
　　1.最大的一张表有10多个G,MongoDB在查询方面尚能胜任，但是涉及到复杂计算时会比较吃力。
　　2.MongoDB中有三张表，分别记录了最终用户在三个不同系统(电话，游戏，桌牌等)的行为，需要按用户汇聚成一张表。
　　考虑到MongoDB集成Hadoop来获得计算能力，先要让hadoop能访问到MongoDB中数据，下面讨论各个方案：

　　一)一个不安全的方案--MongoDB-connectorfor hadoop
　　支持通过Hive建表直接访问MongoDB中的数据：
　　

CREATE  TABLE default.caller_intent　　
(
　　
id STRING
　　
merchantId
INT,　　
effective BOOLEAN,
　　

level STRING,　　
status STRING,
　　
canceled BOOLEAN,
　　
levelId
INT,　　
sendMsg BOOLEAN
　　
)
　　
STORED
BY 'com.mongodb.hadoop.hive.MongoStorageHandler'　　
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id"}')
　　
TBLPROPERTIES('mongo.uri'='mongodb://root:changme@10.1.1.1:27017/caller.caller_intent');
　　

　　问题:

　　1）mongo数据库需要暴露密码给hadoop平台，两个平台是不同团队维护。

　　2）hadoop对mongo的操作是难以预料的，在不当时间内做不当操作可能会影响mongodb负载。

　　如果你的团队没有这样的问题，可以考虑这个方案。
　　二)一个好想法，但只是“想法”--MongoDB-oplog同步到hadoop
　　通过oplog来同步数据是一个好想法，不过目前没有好的工具包支持同步到Hive(倒是有同步到solr和ElasticSearch的)，自己开发成本太高，作罢。
　　三)一个可行方案:写入MongoDB的同时写入到kafka，然后通过flume到HDFS。

　　问题:

　　在这个方案施行以前的历史数据需要手动导入。

　　四)另一个想法:另建一个备MongoDB集群同步主集群数据，hadoop平台拥有该备Mongo集群权限。
　　问题:增加一台服务器资源，却只是为了安全的考虑，成本-效益不高。