设为首页 收藏本站
查看: 1996|回复: 0

[经验分享] CLUSTER集群与存储技术

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2016-3-23 09:54:20 | 显示全部楼层 |阅读模式
一、集群
          一组相互独立的、通过高速网络互联的计算机构成一个组,并以单一系统的模式加以管理
          将很多服务器集中起来一起进行同一种服务,在客户端看来就象是只有一个服务器
          可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益
          任务调度则是集群系统中的核心技术
二、集群分类
          高性能计算集群HPC
–        通过以集群开发的并行应用程序,解决复杂的科学问题
          负载均衡(LB)集群
–        客户端访问负载可以在计算机集群中尽可能平均地分摊处理
          高可用(HA)集群
–        当集群中的一个系统发生故障时,集群软件迅速做出反应,将该系统的任务分配到集群中其它正在工作的系统上执行

三、LVS集群组成
          前端:负载均衡层
–        由一台或多台负载调度器构成
          中间:服务器群组层
–        由一组实际运行应用服务的服务器组成
          底端:数据共享存储层
–        提供共享存储空间的存储区域
三、LVS术语
          Director Server:调度服务器,将负载分发到Real Server的服务器
          Real Server:真实服务器,真正提供应用服务的服务器
          VIP:虚拟IP地址,公布给用户访问的IP地址
          RIP:真实IP地址,集群节点上使用的IP地址
          DIP:Director连到Real Server的IP地址
四、LVS负载均衡方式
          VS/NAT:通过网络地址转换实现的虚拟服务器
–        Director将用户请求报文的目的地址改成选定的Real Server地址后,转发给Real Server
–        大并发访问时,调度器的性能成为瓶颈
          VS/DR:直接使用路由技术实现虚拟服务器
–        通过改写请求报文的MAC地址,将请求发至Real Server,Real Server直接响应客户端
          VS/TUN:通过隧道方式实现虚拟服务器
–        Director采用隧道技术将请求发至Real Server后,Real Server直接响应客户端
五、负载均衡调度算法
          Director Server根据各台服务器的负载情况,通过高度算法动态选择一台Real Server
          LVS目前实现了10种调度算法
          常用调度算法有4种
–        轮询(Round Robin)
–        加权轮询(Weighted Round Robin)
–        最少连接(Least Connections)
–        加权最少连接( Weighted Least Connections )
          轮询(Round Robin)
–        将客户端请求平均分发到Real Server
          加权轮询(Weighted Round Robin)
–        根据Real Server的性能设置权重,再进行轮询调度
–        最少连接(Least Connections)
–        动态地将网络请求调度到已建立的连接数最少的服务器上
–        加权最少连接( Weighted Least Connections )
–        根据Real Server的性能设置权重,再将网络请求调度到已建立的连接数最少的服务器上
          基于局部性的最少链接(Locality-Based Least Connections)
–        根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器是可用的且没有超载,将请求发送到该服务器;若服务器不存在,或者该服务器超载且有服务器处于一半的工作负载,则用“最少链接”的原则选出一个可用的服务器,将请求发送到该服务器
          带复制的基于局部性最少链接(Locality-Based Least Connections with Replication)
–        维护从一个目标IP地址到一台服务器的映射
–        根据请求的目标IP地址找出该目标IP地址对应的服务器组,按“最小连接”原则从服务器组中选出一台服务器,若服务器没有超载,将请求发送到该服务器;若服务器超载,则按“最小连接”原则从这个集群中选出一台服务器,将该服务器加入到服务器组中,将请求发送到该服务器
–        当该服务器组有一段时间没有被修改,将最忙的服务器从服务器组中删除,以降低复制的程度。
          目标地址散列(Destination Hashing)
–        根据请求的目标IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空
          源地址散列(Source Hashing)
–        根据请求的源IP地址,作为散列键(Hash Key)从静态分配的散列表找出对应的服务器,若该服务器是可用的且未超载,将请求发送到该服务器,否则返回空
          最短的期望的延迟(Shortest Expected Delay Scheduling SED)
–        基于WLC算法
–        A、B、C三台机器分别权重1、2、3 ,连接数也分别是1、2、3。如果使用WLC算法的话一个新请求进入时它可能会分给ABC中的任意一个
–        使用sed算法后会进行这样一个运算:A(1+1)/1,B(1+2)/2,C(1+3)/3
–        根据运算结果,把连接交给C
          最少队列调度(Never Queue Scheduling NQ)
–        如果有台Real Server的连接数为0就直接分配过去,无需SED运算



存储


一、常见存储技术
SCSI小型计算机系统接口
DAS直连式存储
NAS网络技术存储
SAN存储区域网络
FC光纤通道

1、SCSI
          Small Computer System Interface的简称
          作为输入/输出接口
          主要用于硬盘、光盘、磁带机等设备
2、DAS
          Direct-Attached Storage的简称
          将存储设备通过SCSI接口或光纤通道直接连接到计算机上
          不能实现数据与其他主机的共享
          占用服务器操作系统资源,如CPU、IO等
          数据量越大,性能越差
3、NAS
          Network-Attached Storage的简称
          通过网络交换机连接存储系统和服务器,建立专门用于数据存储的私有网络
          用户通过TCP/IP协议访问数据,采用标准的NFS/HTTTP/CIFS等
4、SAN
          Storage Area Network的简称
          通过光纤交换机、光纤路由器、光纤集线器等设备将磁盘阵列、磁带等存储设备与相关服务器连接起来,形成高速专网网络
          组成部分
          连接设备。如路由器、光纤交换机
–        接口。如SCSI、FC
–        通信协议。如IP、SCSI
5、FC
          Fibre Channel的简称
          一种适合于千兆数据传输的、成熟而安全解决方案
          与传统的SCSI相比,FC提供更高的数据传输速率、更远的传输距离、更多的设备连接支持以及更稳定的性能、更简易的安装
6、FC主要组件
          光纤
          HBA(主机总线适配置器)
–        用于连接主机到光纤通道网络
–        主机中显示为SCSI适配器
–        减轻IO数据对处理器的负载
–        支持多路径
          FC交换机
–        提供高速、无阻塞的设备连接
–        为扩展性提供更多端口
7、FC交换机交换拓扑
          点到点:point-to-point
–        简单将两个设备互连
          已裁定的环路:arbitrated loop
–        可多达126个设备共享一段信道或环路
          交换式拓扑:switched fabric
–        所有设备通过光纤交换机互连
8、iSCSI
          Internet SCSI
          IETF制定的标准,用于将SCSI数据块映射为以太网数据包
          是一种基于IP Storage理论的新型存储技术
          将存储行业广泛应用的SCSI接口技术与IP网络相结合
          可以IP网络上构建SAN
          最初由Cisco和IBM开发
9、iSCSI优势
          基于IP协议技术的标准
          允许网络在TCP/IP协议上传输SCSI命令
          相对FC SAN,iSCSI实现的IP SAN投资更低
          解决了传输效率、存储容量、兼容性、开放性、安全性等方面的问题
          没有距离限制
10、iSCSI组成
          客户端
–        iSCSI Initiator:软件实现,成本低、性能较低
–        iSCSI HBA:硬件实现,性能好,成本较高
          存储设备端
–        iSCSI Target
          以太网交换机


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-194603-1-1.html 上篇帖子: 使用Linux模拟FC存储阵列(targetcli) 下篇帖子: 部署DFS分布式文件系统 技术
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表