设为首页 收藏本站
查看: 650|回复: 0

[经验分享] Moebius for SQL Server

[复制链接]

尚未签到

发表于 2018-10-11 13:26:30 | 显示全部楼层 |阅读模式
  Moebius集群的架构
  Moebius集群采用无共享磁盘架构
  Moebius集群由一组数据库服务器组成,每个服务器上安装相同的数据库,集群支持无共享磁盘架构,各机器可以不连接一个共享设备,数据可以存储在每个机器自己的存储介质中。

  无共享磁盘架构,使得存储不再是单点,系统可用性提高,同时还可以充分利用集群中每个机器的CPU、I/O等硬件来实现集群的高性能。
  无需价格高昂的共享磁盘柜,只要使用2台服务器即可轻松构筑低成本的集群。
  Moebius集群架构的分类
  依据数据是否分区,Moebius集群架构分为标准架构和高级架构:
  标准架构:每个节点中具有完全相同的数据,每个节点都拥有数据全集。
  高级架构:每个节点中数据是不同的,每个节点只拥有数据全集的一部分。
  Moebius For SQL Server标准架构
  Moebius集群是一组相互独立的服务器,通过相互协作形成一个统一的整体。集群中多个节点相互连接,这样冗余的硬件架构不但可以避免单点故障而且提供了杰出的故障恢复能力。一旦发生系统失败,Moebius集群对用户保证最高的可用性,保障关键是业务数据不丢失。

  Moebius 集群标准架构
  一个集群数据库可以看作是一个被多个应用实例访问的单一数据库。在Moebius集群中,每个SQL Server实例在各自的服务器上运行。随着应用的增加,当需要添加额外的资源时,可以在不停机的情况下很容易地增加节点。
  标准架构中间件工作原理
  中间件驻留在每个机器的数据库中,监测数据库内数据的变化,并将变化的数据同步到其它数据库中。数据同步完成后客户端才会得到响应,同步过程是并发完成的,因此同步到多个数据库和同步到一个数据库的时间基本相等;另外同步过程是在事务环境下完成的,保证了多份数据的数据一致性。

  正因为中间件宿主在数据库中,所以中间件不但能知道数据的变化,而且知道引起数据变化的SQL语句,根据SQL语句的类型智能地采取不同的数据同步策略以保证数据同步成本的最小化:
  1. 数据条数很少,数据内容也不大,则直接同步数据。
  2. 数据条数很少,但是里面包含大数据类型,比如文本,二进制数据等, 则先对数据进行压缩然后再
  同步,从而减少网络带宽的占用和传输所用的时间。
  3. 数据条数很多,此时中间件会获取造成数据变化的SQL语句, 然后对SQL语句进行解析,分析其
  执行计划和执行成本,并选择是同步数据还是同步SQL语句到其他的数据库中。在对表结构进行调整
  或者批量更改数据的时候,这种同步策略非常有用。
  Moebius For SQL Server高级架构
  在高级架构中,采用数据分区技术,依据某种规则把数据分散到多个数据库中。
  数据为什么分区?
  1.当数据量很大的时候,即使服务器在没有任何压力的情况下,某些复杂的查询操作都会非常缓慢,影
  响最终用户的体验。
  2.在大数据量下对数据库的装载与导出,备份与恢复,结构的调整,索引的调整等都会让数据库停止服
  务或者高负荷运转很长时间,影响数据库的可用性和易管理性。
  3.面对这样的应用环境,仅仅依靠提升服务器的硬件配置是起不到作用的,比较好的办法是通过数据分
  区,把数据分成更小的部分来提高数据库的可用性和易管理性。
  4.分区把各部分数据放到不同的机器中,每次查询可以由多个机器上的CPU、I/O来共同负载,通过
  各节点并行处理数据来提高性能。
  系统结构
  Moebius For SQL Server高级架构在结构上分访问层数据库和数据层数据库两部分。
  访问层:访问层数据库只有原来数据库的结构没有数据,处理提交上来的SQL语句并调度执行。访问层数
  据库可以由多个机器来负载均衡。
  数据层:数据层数据库就是原来的数据库,但是可以有多个冗余对查询进行负载均衡,以提高整个系统
  的性能,Moebius For SQL Server保证多个数据库的一致性;数据层数据库不暴露给用户和业
  务程序,用户和业务程序面对的是访问层数据库。

  通过访问层和数据层构建出一个网格集群来实现集群的高可用性和负载均衡,访问层和数据层的数据库是可以扩展的。(每列中各节点的数据是相同的,每行构成数据的全集;图中数据数据层设计为5×2矩阵,在实际应用中要依据业务的特点来划分)。
  如何分区?
  Moebius For SQL Server支持两种分区方式:Hash分区和线性分区。
  Hash分区:是将表按某一字段的值均匀地分布到若干个指定分区中的一种分区方法。
  优点:每个分区内分配的数据比较平均,承载的压力也就比较平均,机器能够得到充分的利用。
  缺点:不易扩展,如果扩展新的分区会涉及到数据的重新分配,因此在设计的时候要提前规划好。
  Moebius For SQL Server支持把多个分区数据放在一个机器上然后再根据压力逐个的拆到新机器中去,这样既可以保证了分区的规划又不浪费机器,实现了线性扩展。
  线性分区:即范围分区,将表按某一字段的取值范围进行分区,如按时间,每个月的数据在一个分区中。
  优点:扩展性能比较好,因为数据的增长是有一定规律的。
  缺点:每个分区内数据的压力不是很平均,大部分业务都存在这种现象,越老的数据被访问的频率越低,从而导致各机器面临的压力也不同,因此使机器的利用率不高。
  Moebius For SQL Server支持把多个分区数据放在一个机器上,所以可以通过新老分区的交替使用来提高机器的利用率。
  分区操作在管理工具中很容易配置,首先设置分区,接下来给每个表选择分区并设置分区字段。(如下图)

  这样中间件在解析、处理SQL语句的时候就会根据配置把数据分配到相应分区所在的机器中去或者从相应分区中读取数据。和其他一些集群不同的是Moebius For SQL Server的分区是经过抽象的,是完全透明的。

  高级架构中间件工作原理
  1.中间件解析到查询的SQL语句后,首先分析该语句要查找的表,根据所要查找表的分区配置和SQL语句的WHERE条件计算出要从一个分区中还是多个分区中去取数据,取完数据后在访问层合并后再返回给应用程序。这里要重点说明的是中间件通过分析SQL语句,能够对分区范围进行动态缩小或者放大。SELECT * FROM dbo.UserInfo WHERE UserID = 1,因为UserID是分区字段,所以中间件只会从一个分区中查找;SELECT * FROM dbo.UserInfo WHERE UserID IN(3, 4)则会从两个分区中查找;SELECT * FROM dbo.UserInfo WHERE Username = ‘wangzhongtao’,没有使用分区字段作为查询的条件,中间件就会从每个分区列数据库进行查找。对于多个分区列数据进行查询的操作是并行的从而保证总体响应时间的最小化。

  2.中间件解析到更新的SQL语句后,首先分析要更新的表,根据要更新表的分区配置和更新语句的SQL语法来计算出要更新一个或者多个分区中的数据。例如INSERT dbo.UserInfo(UserID, Username) VALUES(1, ‘wangzhongtao’),中间件会解析到UserID = 1,然后根据表的分区配置把数据插入到第一个分区中去。中间件解析到一个更新的SQL语句后,会同时更新同一列中的数据库。第一:更新操作是并行的,整个操作的响应时间和更新一个数据库的响应时间基本相同;第二:整个操作是在事务的环境下完成的,保证了多个数据库中数据是一致的,实现了真正的冗余。
  3.中间件解析到一个更新数据库结构的DDL语句,会把该语句同步到其他访问层数据库和所有的数据层数据库中。这样用户就像在使用一个数据库去维护表、索引、存储过程等等,大大降低了用户的管理成本,也降低了出错的机率。这是Moebius For SQL Server 的亮点。


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-620420-1-1.html 上篇帖子: [SQL Server]: 比较各个SQL Server 版本 下篇帖子: 生产环境高并发MySQL SQL语句优化案例
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表