设为首页 收藏本站
查看: 1203|回复: 0

[经验分享] [MongoDB] 32Bit构建上文件大小限制问题

[复制链接]
YunVN网友  发表于 2015-7-9 10:25:37 |阅读模式
  一. 问题概述
  
  今天看看爬虫抓取的数据,发现数据无法插入,首先想到的就是32Bit构建的文件大小限制问题,检查一下还真的是。本文把整个检查问题,解决问题的过程记录下来。
  
  问题:can't map file memory - mongo requires 64 bit build for larger datasets
  
  错误信息如下:
   DSC0000.jpg
  
  二. 起源
  
  1. 先来看看MongoDB官网上的描述
  
   http://blog.mongodb.org/post/137788967/32-bit-limitations
   DSC0001.jpg
  简而言之,Mongo官方是为了:
  (1)维持代码的清晰、简洁;
  (2)大量减少bug;
  (3)快速发布1.0版本;
  而选择不支持2GB的文件在32bit系统上。
  
  我们写代码很重要的一点不就是Trade off么? 折中的选择,我们应该理解的。
  
  2. 再来看看Mongo的README文件
  
   DSC0002.png
  
  既然人家都已经一再强调了,那么当我们遇到文件大小限制问题的时候只能怪自己当初没有看清楚~
  不过你的服务器是32-bit的,又想存大数据,那可以考虑Sharding的方法,但是每个分片的大小也是2GB的限制。
  
  关于这一点,我在Stack-Overflow上看到一个提问及回答,贴出来给大家参考:
  http://stackoverflow.com/questions/13578842/cant-map-file-memory-mongo-requires-64-bit-build-for-larger-datasets

   DSC0003.jpg
  
  三. 验证问题
  
  1. 检查当前Mongo的构建是32bit还是64bit版本
  
   使用mongo工具,进入到shell模式
    1 root@192.168.86.223:~$ mongo


2 MongoDB shell version: 2.0.4
3 connecting to: test
4 > use admin
5 switched to db admin
6 > db.runCommand("buildInfo")
7 {
8     "version" : "2.0.4",
9     "gitVersion" : "nogitversion",
10     "sysInfo" : "Linux yellow 2.6.24-29-server #1 SMP Tue Oct 11 15:57:27 UTC 2011 x86_64 BOOST_LIB_VERSION=1_46_1",
11     "versionArray" : [
12         2,
13         0,
14         4,
15         0
16     ],
17     "bits" : 32,
18     "debug" : false,
19     "maxBsonObjectSize" : 16777216,
20     "ok" : 1
21 }  
  发现问题了,原来我使用的是32bit的构建,那就去下载64bit的呗。
  
  2. 验证大小限制是作用在database上
  
  之前一直有个疑问,到底这个文件大小的限制是作用在A.左右DB的总大小;B.单个DB的大小;C.单个Collection的大小上呢?
  借着这个契机,我验证了一下这个问题,最后发现大小的限制是作用在B.单个DB的大小上的。
  如何验证?只需要往这个出问题的DB上继续塞数据,塞不进;往其它数据库上塞数据,能塞进去。就知道了。
  
   四. 解决问题
  
  1. 备份生产环境上的数据库,或者导出一份
  2. 移除原来的32-bit Mongo
  3. 安装64-bit Mongo
  4. 导入备份出来的数据
  5. 验证当前Mongo的构建版本(见三.1)
  
  
  五. 参考文章
  
  http://stackoverflow.com/questions/13578842/cant-map-file-memory-mongo-requires-64-bit-build-for-larger-datasets
  http://blog.iyunv.com/chaijunkun/article/details/7236911
  http://blog.mongodb.org/post/137788967/32-bit-limitations
  
  

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-84702-1-1.html 上篇帖子: 添加mongodb支持 下篇帖子: ecstore中kvstore之mongodb
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表