2年SQL Server DBA调优方面总结

sexevil

2年SQL Server DBA调优方面总结

当2年dba 我觉得，有些东西需要和大家分享探讨，先书单。

书单

1.《深入解析SQL Server 2008 系列》 这个就是mssql 2005 的技术内幕系列。2012版的也出了有兴趣可以看看，技术内幕系列是我接触最早的书，里面内容涵盖量很大，但是都是点到为止。所以很多都是可以细细品味，回头再看的。

2.《Troubleshooting SQL Server A Guide for the Accidental DBA》 这本书是我接触最早的关于性能调优的书。链接已经给出可以去下载，不过需要注册SQLServerCenter ，这个网站是SQL Server 方面比较出名的网站。很多国外大牛。

3.《联机文档》也就是sql server 装机后自带的帮助文档，内容全面的吓人，几乎包含了技术内幕系列的所有内容。

4.《The.Gurus.Guide.To.SQL.Server.Architecture.And.Internals》这本书是将sql server 2000的内核，从软件开发的角度来看SQL Server 2000，很深入作者也十分的出名，可惜死的太早。对sql server框架理解主要来源于这本书，可惜没有中文版。

5.《SQL Server 2008 内核剖析和故障排除》接触的第二本关于性能调优的书，真本书比较绝的地方时，先将原理再讲调优。全书分为2部分第一部分就是原理，第二部分是性能调优。也是不错的一本，书中对扩展事件的功能做了比较详细的解释。我在其他书上是没看到过的。

该书的2012英文原版已经出了。

6.《Microsoft SQL Server企业级平台管理实践》是一本少见的国产好书，书的编写很符合中国人心理，直指问题本身，很适合当工具书。其中有关于性能跟踪调整，从捕获到处理讲的很实际。

7.《SQLSERVER求生秘籍》和《The.Gurus.Guide.To.SQL.Server.Architecture.And.Internals》是同一个作者，这本书主要是针对SQL Server 2005和上一本一样对个别点讲的很深入，缺点讲到的东西太少。

8.《SQL Server 2008查询性能调优》这本书比较实用的一本书，讲了各个瓶颈的发现，性能基线的简历，从查询，存储过程角度出发，分析性能，讲解可能出现性能问题的点。

9.《Pro SQL Server 2008 Service Broker》 讲解关于Service Broker，异步消息处理程序，很多比较大的公司会使用，我知道的是新蛋是使用这个的，全书围绕一个大例子比较清晰，容易接受。

10.《Pro SQL Server 2008 Policy-Based Management》关于策略管理方面的知识，个人觉得比较鸡肋。

安全性

楼主是小公司的DBA所以关于安全性使用的比较少，就管理一些权限和密码

可用性

到SQL Server 2012实现了多种可用性方案，1.日志传送，2.数据库复制，3.数据库镜像，4.alwaysonline。

1.日志传送，楼主觉得是数据库镜像的雏形。没有数据库镜像那样试试的传送和redo日志

2.数据库复制，数据库复制有比较多的分类：快照，事务，合并。事务复制是被应用最广的，从sql server 2000到sql server 2005事务复制被改进了很对具体可以看联机文档。

3.数据库镜像，我对于不需要读写分离的数据库中，数据库镜像是被应用最广的可用性方案，数据库镜像和其他的比最突出的优点是切换方便。

高性能

DBA的大头应该是性能调优。性能的调优大头是索引，最求更高的性能索引是必不可少的。一个性能主要体现的执行时间上，执行时间= 运行时间+等待时间。这个公式我觉得很经典。当你没有头绪的时候能帮你梳理清楚应该怎么排查问题。做性能调优一定要对性能的指标十分熟悉。

性能基线

当你刚刚入职一家公司，对公司数据库现在的负载一无所知，那么一开始要做的事情就是创建一个数据库性能基线。有人会问基线能用来干什么，很多人感觉没用，我刚入职时我也觉得没用。但是性能基线是一个性能调优，监控的开始。

一般比较正规的公司，一个业务上线前会通过压力测试预计这个服务器的性能边境在哪里，到达性能边境之后各个性能指标的表现是如何的。如果如果性能基线接近了性能边界，到了这个时候，那么就要考虑换服务器或者加服务器了。这个是性能基线的一个用处。

拿到一个服务器我先会做一下性能基线，性能基线也就是服务器在正常运转的时候数据库的性能指标的表现。我会抓取24小时的性能指标作为性能基线（可以看我相关的文章：SQL Server 性能基线和监控，SQL Server 性能调优(性能基线)）。

以下是我使用的抓取的指标

cpu：

　　　　\Processor(_Total)\% Processor Time
　　　　\Processor(_Total)\% Privileged Time

　　　　\SQLServer:SQLStatistics\Batch Requests/sec
　　　　\SQLServer:SQL Statistics\SQL Compilations/sec
　　　　\SQLServer:SQL Statistics\SQL Re-Compilations/sec
　　　　\System\Processor Queue Length
　　　　\System\Context Switches/sec

　　Memory:

　　　　\Memory\AvailableBytes
　　　　\Memory\Pages/sec
　　　　\Memory\Page Faults/sec
　　　　\Memory\Pages Input/sec
　　　　\Memory\Pages Output/sec
　　　　\Process(sqlservr)\Private Bytes
　　　　\SQLServer:Buffer Manager\Buffer cache hit ratio
　　　　\SQLServer:Buffer Manager\Page life expectancy
　　　　\SQLServer:Buffer Manager\Lazy writes/sec
　　　　\SQLServer:Memory Manager\Memory Grants Pending
　　　　\SQLServer:Memory Manager\Target Server Memory (KB)
　　　　\SQLServer:Memory Manager\Total Server Memory (KB)

　　Disk:

　　　　\PhysicalDisk(_Total)\%Disk Time
　　　　\PhysicalDisk(_Total)\Current Disk Queue Length
　　　　\PhysicalDisk(_Total)\Avg. Disk Queue Length
　　　　\PhysicalDisk(_Total)\Disk Transfers/sec
　　　　\PhysicalDisk(_Total)\Disk Bytes/sec
　　　　\PhysicalDisk(_Total)\Avg. Disk sec/Read
　　　　\PhysicalDisk(_Total)\Avg. Disk sec/Write

　　SQL Server:

　　　　\SQLServer:AccessMethods\FreeSpace Scans/sec
　　　　\SQLServer:Access Methods\Full Scans/sec
　　　　\SQLServer:Access Methods\Table Lock Escalations/sec
　　　　\SQLServer:Access Methods\Worktables Created/sec
　　　　\SQLServer:General Statistics\Processes blocked
　　　　\SQLServer:General Statistics\User Connections
　　　　\SQLServer:Latches\Total Latch Wait Time (ms)
　　　　\SQLServer:Locks(_Total)\Lock Timeouts (timeout > 0)/sec
　　　　\SQLServer:Locks(_Total)\Lock Wait Time (ms)
　　　　\SQLServer:Locks(_Total)\Number of Deadlocks/sec
　　　　\SQLServer:SQL Statistics\Batch Requests/sec
　　　　\SQLServer:SQL Statistics\SQL Re-Compilations/sec

指标代表啥意思我就不解释了，你可以开perfmon，挨个看说明。

假设你现在已经有了性能指标了，那么你就可以根据性能基线简历告警了，以前的文章（SQL Server 性能基线和监控）中我已经提供了使用powershell如何监控性能。

性能运行性能问题分析：

基线建好了监控也建好了，出现告警了。按讲关于调优的书上就会开始分开，分为CPU瓶颈，IO瓶颈，还是内存瓶颈讲。关于这些瓶颈的确认我这里就没必要说了，在以前的文章SQL Server 性能调优（io），SQL Server 性能调优（cpu），SQL Server 性能调优（内存）都有讲到。如何确认各个瓶颈。

其实这些辨认瓶颈的方法都是不够全面的，瓶颈确认需要经验，因为往往出现性能问题了，不是一个指标，而是一批指标都有问题，比如当你索引没建好，导致了全表扫描，io变大，cpu飙高，内存出现分页，所以有时候十分难判断。

如果已经确定是那部分照成的性能问题如IO，CPU，内存。归根结底就只有2中方法，1.调整。2.硬件升级。

如果问题出现了，要急着解决问题1.使用top 10 io，top 10 cpu，来查看需要优化的语句根据执行计划进行调优。还有就是通过profiler，前提是当前服务器还能允许你使用profiler。2008之后出现了扩展事件，可能可以通过这个来处理，但是关于扩展事件做跟踪我还没有涉及，相关资料也不是很多。

那么如何确定使用内存比较多的语句呢，内存有点特别，sql server把数据放在buffer pool里面，大家都能用，内存压力分为内部和外部，内部是sql server 自身引起的内存压力，外部是其他进程照成的内存压力（相关的只是可以查看sql server 2005 troubleshooting 白皮书）。

出现内存瓶颈也就是buffer pool满了，要清除原先的buffer pool数据才能把新读入的数据存放在里面，那么就简单了，那个语句读取的最多那么哪个语句使用内存最多（详细内容可以查看《Microsoft SQL Server企业级平台管理实践》）。

那么假设已经定位到了一个出问题的SQL语句，那么接下来就是要优化它，里面使用到的最关键的就是执行计划。如何根据执行计划优化SQL语句不同的人想法都不太一样。优化方法和各有特色。所以不再升入以免以偏概全。但是运行时间主要还是这样几点：执行计划，统计信息，索引。

性能等待问题分析：

等待时间：锁等待，闩锁等待。

　　关于资源等待，这里有三篇文章，《SQL Server 性能调优 Wait Event》，《SQL Server 性能调优 Wait Event （二）》，《SQL Server 2008 性能调优 session级别 wait event》作者是同一个人。通过WaitEvent的角度来调整。所以在此之前需要先了解关于sys.dm_os_wait_stats 中相关指标主要指的是什么意思，关于这个SQLServer出了一个《SQL Server 2005 Waits and Queues》很详细的介绍了各个指标的意思。《SQL Server 2008查询性能调优》中有个很好的关于收集堵塞情况的SQL语句。
　　
　　当收集到堵塞如果是出现在锁级别上的，那么没有其他办法，用索引或者在select 语句上面加nolock，或者开带快照的隔离级别，但是个人比较不赞成快照隔离级别，有朋友已经测试过，一开快照隔离级别，tempdb的负载增加十分明显，一个问题解决导致了另外一个更棘手的问题。若是select语句，尽量使用覆盖索引，来减少因为引用多个索引导致和update死锁的情况。当然这个也看具体的系统运行环境而定。
　　
　　如果是出现在闩上，一般比较大的指标是PAGEIOLATCH_x系列的，WRITELOG，PAGELATCH_x,tempdb上的PAGELATCH_x。
　　
　　PAGEIOLATCH_x是在等待磁盘io时产生的，会产生磁盘io的原因也就是内存中没有数据，就是内存不够才会出现这种状况，那么就加内存吧。或者优化一下业务规则。
　　
　　WRITELOG 是写入日志的时候出现了等待，日志是顺序写的，本质就是事务多写入时磁盘速度不够快出现了等待，如果有问题建议1.把日志和数据文件分开，放到2个独立的盘或者raid，2.换成速度更快的盘。
　　
　　PAGELATCH_x是操作buffer pool数据页产生的闩。如果等待过大，很简单就是调用这个页的session过多，那么就减少对页面的访问。1.通过索引优化语句，尽量减少sql读取的页面数量。2.想办法把页面的数据分散多个页面。3.考虑读写分离。
　　
　　tempdb上的PAGELATCH_x主要发生在GAM，SGAM，PFS几个页面，因为order by，group by，临时表，表变量，lazy操作符。都会使用到tempdb，会开辟一个空间。如果并发量大。那么tempdb上的PAGELATCH_x的等待将会很大。1.减少执行计划中sort操作符，减少lazy操作符。2.把tempdb的数据文件扩展，上限是cpu个数（有个条件是tempdb容量要平衡）。