设为首页 收藏本站
查看: 1207|回复: 0

[经验分享] SQL Server如何定位自定义标量函数被那个SQL调用次数最多浅析

[复制链接]

尚未签到

发表于 2017-12-13 20:36:51 | 显示全部楼层 |阅读模式
前阵子遇到一个很是棘手的问题,监控系统DPA发现某个自定义标量函数被调用的次数非常高,高到一个离谱的程度。然后在Troubleshooting这个问题的时候,确实遇到了一些问题让我很是纠结,下文是解决问题过程的一点思索和尝试,如果你有更好的思路和解决方法,也请多多指教。


DPA可以监控到该函数每小时被调用的次数,如下截图所示:


DSC0000.png


那么第一个问题来了。 DPA如何监控获取这个函数每小时执行多少次呢? 其实这个很简单, sys.dm_exec_query_stats视图里面有个字段execution_count 统计SQL的执行次数,但是它记录的是计划自上次编译以来所执行的次数。那么,我整点执行两次结果的差值(execution_count的差值)就是一小时内的执行次数。


execution_count     Number of times that the plan has been executed since it was last compiled.(计划自上次编译以来所执行的次数。)


这个我们可以试验一下,如下所示,在AdventureWorks2014,我们创建一个自定义标量函数,然后我们


USE AdventureWorks2014;GOCREATE FUNCTION Sales.FetchProductOrderNum(    @ProuctID  INT) RETURNS INTBEGIN    DECLARE @SaleOrderNum INT;    SELECT @SaleOrderNum=COUNT(SalesOrderID)  FROM Sales.SalesOrderDetail     WHERE ProductID=@ProuctID    GROUP BY ProductID;     RETURN @SaleOrderNum;ENDGO  DBCC FREEPROCCACHE; --删除计划缓存中的所有元素GODECLARE @ProductID INT;SET @ProductID=870 SELECT DISTINCT ProductID, Sales.FetchProductOrderNum(ProductID) FROM Sales.SalesOrderDetailWHERE ProductID=@ProductID


SELECT qs.plan_handle  ,  OBJECT_NAME(qt.objectid)  , qs.execution_count AS [Execution Count]  , qs.execution_count / DATEDIFF(Second, qs.creation_time, GETDATE()) AS [Calls/Second]  , qs.total_worker_time / qs.execution_count AS [AvgWorkerTime]  , qs.total_worker_time AS [TotalWorkerTime]  , qs.total_elapsed_time / qs.execution_count AS [AvgElapsedTime]  , qs.max_logical_reads  , qs.max_logical_writes  , qs.total_physical_reads  , DATEDIFF(Minute, qs.creation_time, GETDATE()) AS [Age in Cache]FROM    sys.dm_exec_query_stats AS qsCROSS APPLY     sys.dm_exec_sql_text(qs.[sql_handle]) AS qtWHERE    qt.[dbid] = DB_ID()AND qt.objectid = OBJECT_ID('Sales.FetchProductOrderNum')OPTION (RECOMPILE);

DSC0001.png




DECLARE @ProductID INT;

SET @ProductID=897


SELECT DISTINCT ProductID, Sales.FetchProductOrderNum(ProductID) FROM Sales.SalesOrderDetail

WHERE ProductID=@ProductID



DECLARE @ProductID INT;

SET @ProductID=870


SELECT DISTINCT ProductID, Sales.FetchProductOrderNum(ProductID) FROM Sales.SalesOrderDetail

WHERE ProductID=@ProductID



DSC0002.png



如上所示,假设一个小时内只执行了上面两个SQL,那么我知道这个自定义函数被调用了 9378 - 4688 =4690次。 所以基于这种规则,就可以找出一小时内自定义函数的调用次数,当然其它数据库对象也可以如此计算。


那么接下来的问题,一个数据库中有多脚本都调用了这个自定义标量函数,但是我怎么判别、区分那个SQL脚本调用了自定义函数最多(或者能查出TOP 10 SQL语句),这个问题纠结了好久,查找了好多资料,均无法实现这个功能。

为什么有这样的需求呢? 因为,不能定位那个SQL调用的次数最多,我无法定位问题根源,我遇到的案例,发现有接近200个地方调用这个自定义函数,如果一个个去判断分析、这个是个累死人的体力活,而且有些SQL非常不容易确定

会调用多少次,(例如有些是在临时表上调用该函数, 有些条件是传入的变量等等)。


SELECT TOP 120        SUBSTRING(qt.text, ( qs.statement_start_offset / 2 ) + 1,                  ( ( CASE qs.statement_end_offset                        WHEN -1 THEN DATALENGTH(qt.text)                        ELSE qs.statement_end_offset                      END - qs.statement_start_offset ) / 2 ) + 1) ,        qt.text ,        qs.execution_count ,        qs.total_logical_reads ,        qs.last_logical_reads ,        qs.total_logical_writes ,        qs.last_logical_writes ,        qs.total_worker_time ,        qs.last_worker_time ,        qs.total_elapsed_time / 1000000 total_elapsed_time_in_S ,        qs.last_elapsed_time / 1000000 last_elapsed_time_in_S ,        qs.last_execution_time ,        qp.query_planFROM    sys.dm_exec_query_stats qs        CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) qt        CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) qpWHERE   qt.text LIKE '%FunctionName%'ORDER BY qs.execution_count DESC;


如果你用这样的SQL语句,也是无法找到那个SQL调用自定义函数次数最多(自定义标量函数的特性,不清楚的可以看看我这篇博客SQL SERVER中用户定义标量函数(scalar user defined function)的性能问题),这里不做过细介绍。后面我发现如果那个SQL调用自定义标量函数过多,它的逻辑读是非常高的。当然这个不是非常精准,而且也需要在一定范围内进行甄别,不过在这个范围内做了一个范围刷选,已经非常难得了,在我这个案例当中,我非常顺速的对几个SQL进行判断、甄别后,就快速找到了调用次数非常多的SQL。这个已经是我能找到最好的方法了。如果其它更好的方法,欢迎指点一二!



SELECT TOP 120        SUBSTRING(qt.text, ( qs.statement_start_offset / 2 ) + 1,                  ( ( CASE qs.statement_end_offset                        WHEN -1 THEN DATALENGTH(qt.text)                        ELSE qs.statement_end_offset                      END - qs.statement_start_offset ) / 2 ) + 1) ,        qt.text ,        qs.execution_count ,        qs.total_logical_reads ,        qs.last_logical_reads ,        qs.total_logical_writes ,        qs.last_logical_writes ,        qs.total_worker_time ,        qs.last_worker_time ,        qs.total_elapsed_time / 1000000 total_elapsed_time_in_S ,        qs.last_elapsed_time / 1000000 last_elapsed_time_in_S ,        qs.last_execution_time ,        qp.query_planFROM    sys.dm_exec_query_stats qs        CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) qt        CROSS APPLY sys.dm_exec_query_plan(qs.plan_handle) qpWHERE   qt.text LIKE '%FunctionName%'--ORDER BY qs.execution_count DESC;ORDER BY qs.total_logical_reads DESC --ORDER BY qs.last_logical_reads  有时按last_logical_reads更精准
DSC0003.png

我们来验证一下我们上面测试的案例,如下所示, 你会看到本身Sales.FetchProductOrderNum这个自定义标量函数的调用次数才是最多的,所以如果按execution_count来统计,这个是完全不行的,例如其中一个SQL执行一次(ProductID=870),Sales.FetchProductOrderNum标量函数就要被调用好几千次,而按照了逻辑读(total_logical_reads或last_logical_reads)来分析,基本上就能定位到调用标量函数次数最多的SQL了。当然实际环境远远比这个测试案例复杂的多。




DSC0004.png

运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-423791-1-1.html 上篇帖子: SQL SERVER 中如何用脚本管理作业 下篇帖子: SQL Server 向数据库中创建表并添加数据
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表