设为首页 收藏本站
查看: 1226|回复: 0

[经验分享] docker解决数据存储问题的方案

[复制链接]

尚未签到

发表于 2015-4-17 10:34:57 | 显示全部楼层 |阅读模式
  现在docker在云计算领域发展的势头很猛,各个公司不论大小都开始研究这个开源工具和技术,围绕docker的开源项目和创业公司也多如牛毛,就是一个简单管理container的web ui都有很多开源项目。不过还是一个人说的好,docker必须要是集群才好玩,而且越大越好玩。当然这是从玩技术的人眼中看待的问题,如果要真正用于生产还是有很多问题需要解决,很多方案需要设计,很多容错需要处理。今天看资料学习到了docker是怎样解决容器里面数据存储的问题的方案,以前做PAAS遇到过这种问题,不过自己也设计了相应的方案解决了问题。不过docker提供的volumes解决方案好像感觉更加完美和灵活一些,但是总体架构和思路其实都是一样的。下面就根据自己的理解说说docker的volumes解决方案,官方文档有详细的使用说明,如果想要尝试一把,请自行google或者直接访问docker官方问题:https://docs.docker.com/userguide/dockervolumes/
  在介绍具体方案以前先说说基于container运行的程序有什么样的数据存储问题。传统的软件开发人员都习惯了使用本地磁盘保存文件等数据,如果程序挂了以后重新启动以后那么数据还在(硬盘没坏的情况下),你可能会说为什么不使用云存储或者分布式文件系统或者数据库之类的,首先传统行业开发者可能还没有接受或者接触云存储系统和概念,其次小公司或者个人开发者不一定能够可以自己使用的云存储系统(第三方往往需要收费,而且不一定好用),数据库不合适存储文件。所以这些问题就需要PAAS平台(不管是公有还是私有,当然这里把docker也算在内了)去解决,如果PAAS平台是基于container运行应用的架构那么就存在本地数据存储的问题。因为PAAS平台需要合理利用资源,那么就需要动态调度运行程序到不同的主机上去运行,那么在应用被从一个container调度另一个container运行的时候,怎样保证数据也被同样迁移过去,而且迁移后的container和以前的container可能根本不在同一个主机上。那么数据迁移就是一个很大的问题,想要很优雅的解决这个问题不是那么容易的。
  先看看我以前是怎么解决这个问题的(其实你会发现和docker的解决方案是那么惊人的相似),我们为开发者提供一个目录,承诺在这个目录下存放的问题保证在大多数情况下不会丢失(极端情况可能会丢失一些数据,例如硬盘坏掉而且这时数据刚好还没有成功备份,当然也有解决方案,不过需要牺牲用户体验和性能:就是同步写云存储),然后我们有一个文件系统的监听agent会监控这些目录的变化,如果在一个固定间隔时间内有文件变化就会定期把这个目录压缩成一个压缩文件然后上传云存储,当用户的应用被迁移到另一个container中去的时候在从云存储下载并且解压到相应目录即可。这里为了解决用户不停的写文件导致频繁的进行压缩和上传操作,我们设置了一个时间间隔来做这些操作。如果在这个时间间隔内有数据写入并且还没有执行压缩上传操作的时候主机挂掉或者硬盘坏掉那么部分数据丢失。为了解决上传过多文件到云存储每次都是覆盖以前老的文件,即一个应用只有一个压缩文件被存放在云存储。通过这种方案我们解决了基本上99%以上的数据存储问题。
  继续阅读后文,请到:www.wuyouqiang.com

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-58076-1-1.html 上篇帖子: Docker实践(3)—浅析device mapper的thin provision 下篇帖子: Docker Architecture、Differences Between Virtual Machine(VM) And LXC Container Te
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表