设为首页 收藏本站
查看: 676|回复: 0

[经验分享] MongoDB的应用

[复制链接]

尚未签到

发表于 2015-7-5 14:16:02 | 显示全部楼层 |阅读模式
  最近,因为工作的原因,我们正在使用MongoDB做一些大数据量存储的尝试。对于MongoDB的复制功能部署问题,有一些无奈!
  首先说明一下我们的情况,我们需要使用的项目情况,对于MongoDB的期望,MongoDB的无奈和解决方案。
  我们的站点是一个7×24h提供服务的电子商务网站。海量数据存储,高并发,实时是我们最大的特点,也是我们的需要解决的难点。我们目前的业务量一直在增长,所以从架构角度出发,可伸缩性,可替代性是我们追求目标。
  目前需要使用到MongoDB的项目有3个:
  一个是应用信息中心(AIC),该项目是作用是监控线上项目出现异常的情况,该项目的特点在于瞬间并发无法估计,数据量恐怖,读写遵循“二八原则”,稳定性要求高,实时性一般;
  另一个是业务日志系统(BLS),该项目主要用来存放站点业务操作的日志,目前的做法是将日志存放在DB中,我们认为这不是最好的解决方案,所以我们准备把该部分日志移植到MongoDB环境中。该项目的特点是数据增量大,每天增量大概有7g左右,数据无法删除,高并发,稳定性,实时性要求高,99%写,1%读取;
  最后一个是搜索用户行为分析系统(UBA),该项目主要是记录一些我们需要分析的用户使用搜索行为的日志,该项目的特点是数据量大,并发要求高,稳定性,实时性要求一般,但是要求读写尽量分开。三个方案都要考虑成本的问题,否则硬件的投入将是最大的软肋。
  仔细了解MongoDB后,先说一下能满足我们需求的点。
  第一:可以存放海量数据;
  第二:能承受高并发;
  第三:可以使用廉价存储;
  第四:单服务器稳定性可以满足要求;
  不能满足我们的点:
  第一:net的客户端除了完成了协议外,别的实在够差劲,
  第二:MongoDB的集群功能实在无语。如果选择pair模式,对于slave只能等待master down机,不能读;选择M-M-S模式,不能保证实时性,只能保证最后一致性,并且可能存在数据重叠问题;选择M-S模式,slave倒是可以读了,但是当master down机时无法自动切换到slave。实在很无语!
  解决办法:
  第一:net客户端比较容易解决,自己开发一个就基本上没问题;
  第二:对于AIC,我们选择存储使用M-M-S模式,我们保证海量数据的存储和并发性,实时性在这个系统中并不是重点,稳定性要去也一般,所以选择M-M-S应该问题不大;对于BLS,稳定性是我们的第一要求,并发,海量,快速是我们的第二需求,所以我们选择了pair模式,宁愿浪费一点硬件设备,也要保证稳定性;UBA系统我们选用M-S模式,原因是保证高并发,海量存储的基础上,我们还要保证读写分离,最大的原因就是slave需要对BI提供原始数据源。
  对于MongoDB的应用,目前我们只使用了那么多,从测试的情况看,应该问题不大。最大的问题就是在于复制的功能上,如果pair模式能支持slave可读,那可将无敌了。看过源码后,也没觉得在pair上加入读的功能对于MongoDB会有多大的影响啊!也可能在设计的时候有不得已的苦衷吧?不知道MongoDB的架构师怎么想的?!

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-83413-1-1.html 上篇帖子: MongoDB的C#驱动程序教程(译) 下篇帖子: C#中使用MongoDb
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表