查看: 656|回复: 0

[经验分享] MongoDB Hadoop Connector发布

尚未签到

发表于 2015-7-13 07:11:47 | 显示全部楼层 |阅读模式

　　10gen刚刚发布了MongoDB Hadoop Connector的1.0版本，它是一个中间件产品，用于将MongoDB和Hadoop连接起来，让MongoDB可以方便的使用Hadoop的分布式计算能力。
　　MongoDB Hadoop Connector的主要流程是让Hadoop从MongoDB中读取原始数据，在通过Hadoop计算完成后，再将结果导入到MongoDB中。原始数据的读取和结果写入可以对同一个MongoDB，也可以是不同的。其主要目的是让使用MongoDB的用户能够更方便地直接使用Hadoop功能。
　　目前MongoDB Hadoop Connector已经与Hadoop生态系统中的一些组件进行了整合，后续还会根据反馈进行更全方便的整合。具体如下：

可以通过 Pig 向 MongoDB 中写入数据。
可以通过分布式日志系统 Flume 往MongoDB中导入日志原始数据。
通过使用Hadoop Streaming，可以用 Python来写 MapReduce函数。

　　MongoDB Hadoop Connector目前支持2.0以上的版本（1.8.x版本也基本上能够支持）。
　　当然项目是开源的，项目地址：mongo-hadoop
　　消息来源：blog.10gen.com

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表，该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有，请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意，请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息，一经发现立即删除。若您因此触犯法律，一切后果自负，我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集，我们仅提供一个展示、介绍、观摩学习的平台，我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责，亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏，不得用于商业或者其他用途，否则，一切后果均由您自己承担，我们对此不承担任何法律责任
7、如涉及侵犯版权等问题，请您及时通知我们，我们将立即采取措施予以解决
8、联系人Email：admin@iyunv.com 网址：www.yunweiku.com