设为首页 收藏本站
查看: 1549|回复: 0

[经验分享] openstack object storage(对象存储)swift概述

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2014-6-23 11:57:05 | 显示全部楼层 |阅读模式
由于公司的需要,前几天了解到了openstack swift(对象存储)这个新的领域。虽然这已经是开源很久的项目了,但是相关资料还是相对较少,或是千篇一律互相抄袭。暂且就将我个人近期学习心得分享一二,但愿能帮到你什么。(废话不说了,下面是正文),旨在将网上零散的好文章做一个整理,方便查阅。
简介:
    OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性、冗余和持久性。

用途:
    Swift并不是文件系统,而是凌驾于文件系统之上的对象存储,用于永久类型的静态数据的长期存储,这些数据可以检索、调整,必要时进行更新。最适合存储的数据类型的例子是虚拟机镜像、图片存储、邮件存储和存档备份。

特性:
    由来自官方文档的介绍,swift具有很多特性,在此只列举重要的(受关注)几个:

  •     极高的数据持久性

    数据的持久性指的是数据丢失的可能,由于swift多节点和多副本的设计使得swift具有较高的数据持久性,据说新浪有根据实际环境推测:Swift在5个Zone、5×10个存储节点的环境下,数据复制份是为3,数据持久性的SLA能达到10个9。
    完全对称的系统架构
完成对称是指系统中每个节点具有同等的地位,没有主从之分。
    无限的可扩展性
可扩展性是根据完全对称的系统架构来做的,扩容的时候只需要简单的添加机器,系统会自动完成数据的迁移,使系统中各个节点达到平衡。
    无单点故障
        swift中元数据是完全随机存储的,并且与对象文件一样,也会保存多分在多个节点上,这样就有效的避免了单点故障。

原理:
    在swift中最重要的应该是一致性哈希算法了。
    在swift能具有以上所列举的特性的前提是,swift利用一致性哈希算法构建了一个冗余的可扩展的分布式对象存储集群。

    有关一致性hash具体的实现就不再赘述了,在此推荐几篇博客连接,供大家查阅:
    《一致性哈希算法》


swift主要组件:   

  • Proxy Server(代理服务)

提供Swift API的服务器进程,负责Swift其余组件间的相互通信。对于每个客户端的请求,它将在Ring中查询Account、Container或Object的位置,并且相应地转发请求。Proxy提供了Rest-full API,并且符合标准的HTTP协议规范,这使得开发者可以快捷构建定制的Client与Swift交互。

Storage Server(存储服务)
提供了磁盘设备上的存储服务。在Swift中有三类存储服务器:Account、Container和Object。其中Container服务器负责处理Object的列表,Container服务器并不知道对象存放位置,只知道指定Container里存的哪些Object。这些Object信息以sqlite数据库文件的形式存储。Container服务器也做一些跟踪统计,例如Object的总数、Container的使用情况。

Consistency Server(一致性服务)Swift的Consistency Servers的目的是查找并解决由数据损坏和硬件故障引起的错误。主要存在三个Server:Auditor、Updater和Replicator。 Auditor运行在每个Swift服务器的后台持续地扫描磁盘来检测对象、Container和账号的完整性。如果发现数据损坏,Auditor就会将该文件移动到隔离区域,然后由Replicator负责用一个完好的拷贝来替代该数据。图2给出了隔离对象的处理流图。 在系统高负荷或者发生故障的情况下,Container或账号中的数据不会被立即更新。如果更新失败,该次更新在本地文件系统上会被加入队列,然后Updaters会继续处理这些失败了的更新工作,其中由Account Updater和Container Updater分别负责Account和Object列表的更新。 Replicator的功能是处理数据的存放位置是否正确并且保持数据的合理拷贝数,它的设计目的是Swift服务器在面临如网络中断或者驱动器故障等临时性故障情况时可以保持系统的一致性。

4.  Ring(环)
    Ring是Swift最重要的组件,用于记录存储对象与物理位置间的映射关系。在涉及查询Account、Container、Object信息时,就需要查询集群的Ring信息。 Ring使用Zone、Device、Partition和Replica来维护这些映射信息。Ring中每个Partition在集群中都(默认)有3个Replica。每个Partition的位置由Ring来维护,并存储在映射中。Ring文件在系统初始化时创建,之后每次增减存储节点时,需要重新平衡一下Ring文件中的项目,以保证增减节点时,系统因此而发生迁移的文件数量最少。
    在swift中我们可以自主预设置swift的相关参数:如对象副本数、设备权重、副本更新周期等,让后通过ring的rebalance重平衡环,达到ring重建。

swift新手部署参考:

快速部署Swift的SAIO环境

不过如果你要在ubuntu下安装swift我强烈建议你重新设置你的软件源:
打开/etc/apt/sources.list文件删除所有内容,直接复制以下内容:

#网易的源(163源,无论是不是教育网,速度都很快)
1
2
3
4
5
6
7
8
9
10
deb http://mirrors.163.com/ubuntu/ quantal main universe restricted multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal main universe restricted multiverse
deb http://mirrors.163.com/ubuntu/ quantal-security universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ quantal-security universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ quantal-updates universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ quantal-proposed universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ quantal-proposed universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ quantal-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ quantal-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ quantal-updates universe main multiverse restricted



之后在终端下执行:
1
2
    apt-get update
    apt-get install git



然后按照文章的描述一步步做,即可成功安装swift。

如果你觉得这样不过瘾你可以官方网站的文档一步步搭建。
官方文档

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-20944-1-1.html 上篇帖子: 通过devstack自动部署Openstack icehouse 版本 下篇帖子: OpenStack在登录时报“module' object has no attirbute 'Login'的解决 storage
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表