设为首页 收藏本站
查看: 475|回复: 0

[经验分享] 分享:构建高可用性的Oracle架构

[复制链接]

尚未签到

发表于 2016-8-4 09:37:28 | 显示全部楼层 |阅读模式
  
  美国eBay高可用环境分析
  eBay(www.ebay.com)是世界上最大的C2C电子商务网站,到2007年年底,该网站的注册用户数量达到2.48亿,并存有10亿张以上的图片,该网站每天要支撑10亿次的PV,有合计2P(1P=1024T)的数据量,这么庞大的一个系统,还能整体上保证99.94%以上的高可用性。
  那么,eBay是怎样保证这么大的系统,还有这么高访问量的高可用呢,这里先看看他们的规模与高可用构架结构(见图1-22)。
  l           为了支撑这么多的业务量,有16000台以上的Web服务器,运行J2EE,以及1000台以上的逻辑数据库分布在400个不同的物理主机上,实现了良好的水平扩展性,每天的SQL执行量超过了440亿次。
  l           数据库运行在Oracle上,应用服务器采用websphere。每个数据库至少有3个在线的备份,分布在8个不同的数据中心。数据库中没有存储过程,只有少量的触发器,把很多 CPU密集型的任务从数据库迁移到Web服务器上,因为数据库更容易成为瓶颈,而Web服务器是廉价可扩展的。数据库采用多点复制,可负载均衡,不采用分布式事务。
  l           应用构架方面,采用连接池,应用层采用多层结构。eBay最大的成功在于解决了两个关键性的技术:分布式的数据库与实时的Search。
  可以看到,eBay最核心的技术就是分布,首先Web服务器是分布的,存在16000台以上的Web服务器,相对于比较集中的数据库来说,Web服务器更容易扩展。为了保证数据库的负载最小,eBay采用了很多策略,把负载从数据库转移到可扩展的Web服务器上。
  在数据库上面,eBay是先把数据库按照应用在一定程度上垂直分割,然后采用sheard plex水平分割,实现读写分离的分布策略。数据库分布在多个数据中心,应用通过数据层与负载均衡设备访问数据库,根本不必要关心数据库的位置在哪里。
  另外,因为数据分布在多个数据中心,而这些数据中心并不在一个地点,也就实现了数据的容灾保护。当写站点发生故障的时候,只要切换到其他一个备用站点即可。
  1.6.2  Myspace构架分析
  上面分析了eBay的案例,再来看另外一个案例,那就是Myspace(www.myspace.com),从目前的情况来看,Myspace的月访问量超过400亿,并超越了YAHOO。
  Myspace采用的是Ms SQL Server,但是,能做到这么好的性能与访问量,是很不容易的,这里分析一下它的高可用发展历程。
  u          读写分离分布技术
  Myspace最初只有两台老式的Web服务器与一个Dell 双CPU,4GB内存的PC Server数据库服务器,数据库是SQL Server。当2004年Myspace有50万用户的时候,数据库服务器实在不能满足当时的需求,Myspace采用3台SQL Server服务器,一个为主,所有的数据都向它提交,再由它复制到另外两个数据库上,实现了最简单的读写分离。
  u          垂直分割技术
  在2004中,Myspace用户达到1~2百万,存储成为当时最大的瓶颈,因为IO的响应时间过长,导致用户无法完成自己的请求。这个时候,Myspace对数据库采用垂直分割的技术,不同的数据库运行不同的业务,存储也采用了SAN存储网络技术,提高了系统的性能与可靠性。
  u          水平分割技术
  在用户越来越多的情况下,当用户继续增加到3百万后,采用以上垂直分割的技术也出现了问题,如一项单独的业务在一个数据库中都可能成为瓶颈。最初为了适应单个业务的增长,Myspace采用了更好的机器,但是,更好的机器并不能解决数据量增长问题,马上又达到新的瓶颈。这个时候,Myspace采用了分布计算与水平分割技术,按照用户进行水平分割,一个数据库大致保存200万个左右的用户以及对应用户信息。
  u          虚拟化技术与Cache技术
  水平分割解决了数据库主机的问题,但是,有些特定数据库上的用户可能数据量特别巨大,但是有些数据库上的用户数据量可能又很小,导致存储设备使用严重不均衡。这个时候,Myspace采用了3PARdata的虚拟化存储技术,让存储设备统一管理,这样整个SAN被当作一个巨大的存储池,不再要求某个特定的存储设备为特定应用服务。
  当用户越来越多,压力越来越大,Myspace启用了新的策略以减轻存储系统的压力,增加数据缓存层——位于Web服务器和数据库服务器之间,其在内存中建立被频繁访问的数据副本,以前100个用户查询同一数据,需要查询数据库100次,现在只需要1次。如果页面变化,缓存中的数据将从内存中擦除,然后重新从数据库获取。
  现在,Myspace已经超过2600万用户,设备已升级到SQL Server 2005版,因为可以支持64位系统,这样可以支持更大的内存,2006年后每台机器的标准配置是64GB内存。
  从以上的情况来看,Myspace采用了高可用环境中的必需的几项技术:
  首先就是分布式计算架构,包括应用与数据库,先是简单的读写分离,当读写分离不能适应需要的时候,采用了垂直分割技术,当垂直分割技术也不能适应需要的时候,最后采用了按照用户水平分割的技术。
  然后,当存储过于分散的时候,存储系统出现了空间与负载使用的不均衡,他们又采取了虚拟存储的策略,把所有的存储整合成一个存储池,解决了存储设备使用不均匀的问题。
  最后,当分布技术与虚拟存储也解决不了问题的时候,Myspace采用了Cache技术,这个才是它最终能承载那么大流量的关键,Cache技术可以快速地响应请求,大大地减少数据库压力。

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-252599-1-1.html 上篇帖子: oracle常见的经典查询语句(二) 下篇帖子: 【转】Oracle中table函数的应用
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表