Hadoop+MongoDB的四种方案
背景：公司核心业务库现存在MongoDB中，分布在6台MongoDB节点。现面临如下问题：
1.最大的一张表有10多个G,MongoDB在查询方面尚能胜任，但是涉及到复杂计算时会比较吃力。
2.MongoDB中有三张表，分别记录了最终用户在三个不同系统(电话，游戏，桌牌等)的行为，需要按用户汇聚成一张表。
考虑到MongoDB集成Hadoop来获得计算能力，先要让hadoop能访问到MongoDB中数据，下面讨论各个方案：
一)一个不安全的方案--MongoDB-connectorfor hadoop
支持通过Hive建表直接访问MongoDB中的数据：
CREATETABLE default.caller_intent
(
id STRING
merchantId
INT,
effective BOOLEAN,
level STRING,
status STRING,
canceled BOOLEAN,
levelId
INT,
sendMsg BOOLEAN
)
STORED
BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id"}')
TBLPROPERTIES('mongo.uri'='mongodb://root:changme@10.1.1.1:27017/caller.caller_intent');
问题:
1）mongo数据库需要暴露密码给hadoop平台，两个平台是不同团队维护。
2）hadoop对mongo的操作是难以预料的，在不当时间内做不当操作可能会影响mongodb负载。
如果你的团队没有这样的问题，可以考虑这个方案。
二)一个好想法，但只是“想法”--MongoDB-oplog同步到hadoop
通过oplog来同步数据是一个好想法，不过目前没有好的工具包支持同步到Hive(倒是有同步到solr和ElasticSearch的)，自己开发成本太高，作罢。
三)一个可行方案:写入MongoDB的同时写入到kafka，然后通过flume到HDFS。
问题:
在这个方案施行以前的历史数据需要手动导入。
四)另一个想法:另建一个备MongoDB集群同步主集群数据，hadoop平台拥有该备Mongo集群权限。
问题:增加一台服务器资源，却只是为了安全的考虑，成本-效益不高。
页:
[1]