设为首页 收藏本站
查看: 1427|回复: 0

[经验分享] 数据仓库之 - SQL Server 2008新的优化特性

[复制链接]

尚未签到

发表于 2018-10-23 13:45:51 | 显示全部楼层 |阅读模式
  在没有真正的数据仓库数据库之前,现在所有的数据仓库其实都只是一个基于维度模型创建的关系型数据库,但是数据仓库数据库本身有一些区别与比如OLTP数据库的独特特性,比如最显著的就是数据量最大的称为事实的表(一般都有百万甚至上亿的数据量)居于连接的中心,其周围是很多的基数比较小的称为维度的表(可能只有几百行数据),然后居于中心的大数据量的事实表通过外键连接到十几甚至几十个小数据量的维度表。
  针对数据仓库的这种独特的性质,微软在SQLServer 2008之后引入了专门针对数据仓库查询的优化特性:StarJoin优化及Few-Outer-Row优化。这两种优化是内置在引擎中的,我们需要做的是遵从一些语句书写方式以从这两种优化中收益。
Star Join优化
  正如我们在上面所说的,数据仓库的定性设计模式都是中间是大数据量的事实表,周围散布着很多的小数据量的维度表,它们之间使用外键关系彼此联系。而针对数据仓库的查询也共享着基本同样的查询模式:从事实表中选出几个度量值,然后使用外键链接到一个或多个维度表,然后在维度的非主键列上设置过滤条件及做聚合。我们称这种模式为星形模式,
  而StarJoin优化就是一种特定于数据仓库查询的优化,它通过探索式方法自动识别出一个查询是针对星形模型数据库的查询并识别出事实表,查询优化器然后会为每个参与的维度表构建哈希表,然后基于这些哈希表构建位图过滤器并应用在事实表的扫描中。构建的过滤器会高效地排除应该被接下来的join操作移除的大部分行,因此需要被接下来的操作符处理的数据行会大大减少。
  然后问题就是,引擎是如何检测星形模式的呢?它使用如下的探索式方式:
  1.      在具有多个join的语句中,最大的表被考虑为是事实表
  2.      被考虑为事实表的表的大小必须大于某个指定最小值
  3.      两个表直接必须是inner join
  4.      两个表之间的join必须是基于单个列的并且是相等谓词
Few-Outer-Row优化
  该优化是特定于潜逃循环(nestedloop join),在一些数据仓库查询中,位于嵌套链接外部的维度表一般是一个带过滤的并行扫描。但是如果过滤后只有很少的数据,尤其是如果这些数据还都是处在一个索引页上的时候,SQLServer 2005会在单个线程中选出这些维度数据,这导致所有接下来的工作都在单个线程中完成,这会在一些提供大于1个并行度的环境上造成不平衡的问题。
  SQL Server 2008会检测这种嵌套循环连接,并引入了exchange操作符来将少量的外部表的行分发到多个线程中。


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-625536-1-1.html 上篇帖子: SQL语句简单复习 下篇帖子: 集算器简化SQL式计算之组内运算
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表