Oracle固定SQL的执行计划(一)---SQL Profile

sdoghds88888

　　我们都希望对于所有在Oracle数据库中执行的SQL，CBO都能产生出正确的执行计划，但实际情况却并非如此，由于各种各样的原因(比如目标SQL所涉及的对象的统计信息的不准确，或者CBO内部一些成本计算公式的先天缺陷等)，导致有时CBO产生效率不高、甚至是错误的执行计划。特别是CBO对目标SQL所产生的初始执行计划是正确的，后来由于某种原因(比如统计信息的变更等)而导致CBO重新对其产生了错误的执行计划，这种执行计划的改变往往会导致目标SQL执行时间呈数量级的递增，而且常常会让我们很困惑：这个SQL原先跑得好好的，为什么突然就慢得让人无法接受？其实这种SQL执行效率突然衰减往往是因为目标SQL执行计划的改变。
　　我们当然希望这样的改变永远不要发生，即在Oracle数据库中跑的所有SQL都能有正确的、稳定的执行计划，但实际上在Oracle 11g的SPM(SQL Plan Management)出现之前，这一点是很难做到的。那么现在退而求其次，如果已经出现了执行坟墓的变更，即CBO已经产生了错误的执行计划，我们应该怎么纠正呢？
　　我种情况下，我们通常会重新收集一下统计信息或者修改目标SQL(比如在目标SQL中加入Hint等)以纠正错误的执行计划。但有时候重新收集统计信息并不能解决问题，更糟糕的是，很多情况下是没有办法修改目标SQL的SQL文本的(比如第三方开发的系统，修改不了源码，或者目标SQL是前台框架动态生成的等等)，那么这种情况下我们该怎么办呢？
　　在Oracle 10g/11g及其以后的版本中，我们可以使用SQL Profile或SPM(SQL Plan Management)来解决上述执行计划变更的问题，用它们来调整、稳定目标SQL的执行计划。
　　本文介绍使用SQL Profile来稳定执行计划：
　　Oracle 10g中的SQL Profile(直译为“SQL概要”)可以说是Oracle 9i中的Stored Outline(直译为“存储概要”)的进化。Stored Outline能够实现的功能SQL Profile也完全能够实现。
　　与Stored Outline相比，SQL Profile具备如下优点：

• 　　更容易生成、更改和控制
  
• 　　在SQL语句的支持上做得更好，也就是说适用范围更广。
  

　　使用SQL Profile可以很容易实现如下两个目的：

• 　　锁定或者说稳定执行计划
  
• 　　在不能修改目标SQL的SQL文本的情况下使目标SQL语句按指定的执行计划运行。
  

　　SQL Profile有两种类型：一种是Automatic类型，另一种是Manual类型。下面分别介绍这两种类型：
　　1. Automatic类型的SQL Profile
　　Automatic类型的SQL Profile其实就是针对目标SQL的一些额外的调整信息，这些信息存储在数据字典里。当有了Automatic类型的SQL Profile后，Oracle在产生执行计划时就会根据它对目标SQL所涉及的统计信息等内容做相应的调整，因而能够在一定程度上避免产生错误的执行计划。你不用担心Automatic类型的SQL Profile的准确性，因为Oracle会使用类型于动态采用技术那样的手段来保证这些额外调整信息相对准确。
　　Automatic类型的SQL Profile不会像Stored Outline那样锁定目标SQL的执行计划，因为Automatic类型的SQL Profile的本质就是针对目标SQL的一些额外的调整信息，这些额外的调整信息需要与原目标SQL的相关统计信息等内容一起作用才能得到新的执行计划，即原始SQL的统计信息等内容一旦发生变化，即使原有Automatic类型的SQL Profile并没有改变，该SQL的执行也可能会发生变化。从这个意义上讲，Automatic类型的SQL Profile并不能完全起到稳定目标SQL的执行计划的作用，虽然它确实可以用来调整执行计划。
　　看一个在不更改目标SQL的SQL文本的情况下使用Automatic类型的SQL Profile来调整执行计划的实例：
　　创建测试表及相关操作：
zx@MYDB>create table t1 (n number);　　

　　
Table created.
　　

　　
zx@MYDB>declare
　　
  2  begin
　　
  3  for i in 1..10000 loop
　　
  4  insert into t1 values(i);
　　
  5  end loop;
　　
  6  commit;
　　
  7  end;
　　
  8  /
　　

　　
PL/SQL procedure successfully completed.
　　

　　
zx@MYDB>select count(*) from t1;
　　

　　
  COUNT(*)
　　
----------
　　
     10000
　　

　　
zx@MYDB>create index idx_t1 on t1(n);
　　

　　
Index created.
　　

　　
zx@MYDB>exec dbms_stats.gather_table_stats(ownname=>USER,tabname=>'T1',method_opt=>'for all columns size 1',cascade=>true);
　　

　　
PL/SQL procedure successfully completed.
　　

　　
zx@MYDB>select /*+no_index(t1 idx_t1) */ * from t1 where n=1;
　　

　　
         N
　　
----------
　　
         1

　　从上述显示内容可以看出，目标SQL走的是对表T1的全表扫描(Table Access Full)，这个执行计划显然是错误，这里正确的执行坟墓应该是走索引IDX_T1的索引范围扫描(Index Range Scan)。下面使用SQL Tuning Advisor对这条SQL生成Automatic类型的SQL Profile。
　　a.先创建一个名为my_sql_tuning_task_2的自动调整任务：
zx@MYDB>declare　　
  2  my_task_name varchar2(30);
　　
  3  my_sqltext clob;
　　
  4  begin
　　
  5  my_sqltext:='select /*+no_index(t1 idx_t1) */ * from t1 where n=1';
　　
  6  my_task_name:=dbms_sqltune.create_tuning_task(
　　
  7  sql_text=>my_sqltext,
　　
  8  user_name=>USER,
　　
  9  scope=>'COMPREHENSIVE',
　　
10  time_limit=>60,
　　
11  task_name=>'my_sql_tuning_task_1',
　　
12  description=>'Task to tune a query on table t1');
　　
13  end;
　　
14  /
　　

　　
PL/SQL procedure successfully completed.
　　

　　
zx@MYDB>select task_name,status,execution_start,execution_end from user_advisor_log;
　　

　　
TASK_NAME                      STATUS                            EXECUTION_START     EXECUTION_END
　　
------------------------------ --------------------------------- ------------------- -------------------
　　
my_sql_tuning_task_1           INITIAL
　　注：创建任务时可以使用SQL来创建，可以适用于SQL文本长的情况。详情参考官方文档。
　　b.执行上述自动调整任务
zx@MYDB>begin　　
  2  dbms_sqltune.execute_tuning_task(task_name=>'my_sql_tuning_task_1');
　　
  3  end;
　　
  4  /
　　

　　
zx@MYDB>zx@MYDB>select task_name,status,execution_start,execution_end from user_advisor_log;
　　

　　
TASK_NAME                      STATUS                            EXECUTION_START     EXECUTION_END
　　
------------------------------ --------------------------------- ------------------- -------------------
　　
my_sql_tuning_task_1           COMPLETED                         2017-02-28 10:59:43 2017-02-28 10:59:44
　　

　　
PL/SQL procedure successfully completed.
　　c.查看上述自动任务的调整结果
zx@MYDB>set long 9000　　
zx@MYDB>set longchunksize 1000
　　
zx@MYDB>set linesize 800
　　
zx@MYDB>select dbms_sqltune.report_tuning_task('my_sql_tuning_task_1') from dual;

　　从上述调整结果可以看到，Oracle现在告诉我们：它已经为目标SQL找到了更好的执行计划，并且已经创建了针对该SQL的Automatic类型的SQL Profile。如果我们使用accecp_sql_profile接受了这个SQL Profile，则目标SQL的响应时间将会有86.24%的提升，逻辑读将会有95%的提升，并且接受了该SQL Profile后目标SQL的执行计划将会由原来的全表扫描变为索引范围扫描。
　　上面Automatic类型的SQL Profile所产生的调整结果就是我们想要的，所以现在只需按Oracle的提示接受这个SQL Profile即可：
zx@MYDB>execute dbms_sqltune.accept_sql_profile(task_name =>'my_sql_tuning_task_1', task_owner => 'ZX', replace => TRUE,force_match=>true);　　

　　
PL/SQL procedure successfully completed.
　　接受此SQL Profile后我们来看一下效果，再次执行目标SQL:
zx@MYDB>select /*+no_index(t1 idx_t1) */ * from t1 where n=1;　　

　　
         N
　　
----------
　　
         1

　　注意到Note部分有这样的内容“SQL profile SYS_SQLPROF_015a82b353490000 used for this statement”这说明我们刚才接受的SQL Profile已经起了作用，该SQL Profile的名字为SYS_SQLPROF_015a82b353490000。从执行计划中也可以看到，执行计划确实已经改变了。
　　另外，DBMS_SQLTUNE.ACCEPT_SQL_PROFILE的输入参数force_match的默认值为FALSE，表示只有在SQL文本完全匹配的情况下才会应用SQL Profile，这种情况下只要目标SQL的SQL文本发生一点变动，原有的SQL Profile将会失去作用，如果设置为TRUE，即使SQL有变动SQL Profile也会强制生效。
　　删除SQL Profile
zx@MYDB>exec dbms_sqltune.drop_sql_profile('SYS_SQLPROF_015a82b353490000');　　

　　
PL/SQL procedure successfully completed.
　　2. Manual类型的SQL Profile
　　Manual类型的SQL Profile本质上就是一堆Hint的组合，这一堆Hint的组合实际上来源于执行计划中的Outline Data部分的Hint组合。Manual类型的SQL Profile同样可以在不更改目标SQL的SQL文本的情况下，调整其执行计划，而且更为重要的是，Manual类型的SQL Profile可以起到很好稳定目标SQL的执行计划的作用，这一点是Automatic类型的SQL Profile所不具备的。
　　看一个使用Manual类型的SQL Profile实例固定执行计划的实例，使用上面的t1表，删除上面的SQL Profile，再次执行SQL
zx@MYDB>select /*+no_index(t1 idx_t1) */ * from t1 where n=1;　　

　　
         N
　　
----------
　　
         1

　　从上述输出可以看出执行计划仍然走全表扫描。
　　现在来创建Manual类型的SQL Profile。这里使用了MOS上的一个脚本coe_xfr_sql_profile.sql。这个脚本用于从Shared Pool、AWR Repository中指定SQL的指定执行计划的Outline Data部分的Hint组合，来创建Manual类型的SQL Profile。
　　使用coe_xfr_sql_profile.sql脚本的步骤为

• 　　针对目标SQL使用coe_xfr_sql_profile.sql产生能生成其Manual类型的SQL Profile的脚本A。
  
• 　　改写目标SQL的文本，在其中使用合适的Hint，直到加入Hint后的SQL能走出我们想要的执行计划。然后对加入合适Hint后的SQL使用脚本coe_xfr_sql_profile.sql，产生能生成其Manual类型的SQL Profile的脚本B。
  
• 　　用脚本B中的Outline Data部分的Hint组合替换掉脚本A的Outline Data部分的Hint组合。
  
• 　　执行脚本A生成针对原目标SQL的Manual类型的SQL Profile。
  

　　现在改写上面的SQL，强制走索引：
zx@MYDB>select /*+index(t1 idx_t1) */ * from t1 where n=1;　　

　　
         N
　　
----------
　　
         1

　　从执行计划中可以看出SQL>
　　全表扫描的SQL>
　　索引扫描的SQL>　　a. 先使用coe_xfr_sql_profile.sql生成全表扫描SQL对应的脚本
zx@MYDB>@scripts/coe_xfr_sql_profile.sql　　

　　
Parameter 1:
　　
SQL_ID (required)
　　

　　
Enter value for 1: 6chcc0pvvhqqm
　　

　　

　　
PLAN_HASH_VALUE AVG_ET_SECS
　　
--------------- -----------
　　
     3617692013        .002
　　

　　
Parameter 2:
　　
PLAN_HASH_VALUE (required)
　　

　　
Enter value for 2: 3617692013
　　

　　
Values passed to coe_xfr_sql_profile:
　　
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
　　
SQL_ID       : "6chcc0pvvhqqm"
　　
PLAN_HASH_VALUE: "3617692013"
　　

　　
SQL>BEGIN
　　
  2    IF :sql_text IS NULL THEN
　　
  3   RAISE_APPLICATION_ERROR(-20100, 'SQL_TEXT for SQL_ID &&sql_id. was not found in memory (gv$sqltext_with_newlines) or AWR (dba_hist_sqltext).');
　　
  4    END IF;
　　
  5  END;
　　
  6  /
　　
SQL>SET TERM OFF;
　　
SQL>BEGIN
　　
  2    IF :other_xml IS NULL THEN
　　
  3   RAISE_APPLICATION_ERROR(-20101, 'PLAN for SQL_ID &&sql_id. and PHV &&plan_hash_value. was not found in memory (gv$sql_plan) or AWR (dba_hist_sql_plan).');
　　
  4    END IF;
　　
  5  END;
　　
  6  /
　　
SQL>SET TERM OFF;
　　

　　
Execute coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql
　　
on TARGET system in order to create a custom SQL Profile
　　
with plan 3617692013 linked to adjusted sql_text.
　　

　　

　　
COE_XFR_SQL_PROFILE completed.
　　从输出可以看出，生成一个名为coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql的脚本。
　　b. 用coe_xfr_sql_profile.sql生成索引扫描SQL对应的脚本
SQL>@scripts/coe_xfr_sql_profile.sql　　

　　
Parameter 1:
　　
SQL_ID (required)
　　

　　
Enter value for 1: 2ufquy7xs5nm5
　　

　　

　　
PLAN_HASH_VALUE AVG_ET_SECS
　　
--------------- -----------
　　
     1369807930        .001
　　

　　
Parameter 2:
　　
PLAN_HASH_VALUE (required)
　　

　　
Enter value for 2: 1369807930
　　

　　
Values passed to coe_xfr_sql_profile:
　　
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
　　
SQL_ID       : "2ufquy7xs5nm5"
　　
PLAN_HASH_VALUE: "1369807930"
　　

　　
SQL>BEGIN
　　
  2    IF :sql_text IS NULL THEN
　　
  3   RAISE_APPLICATION_ERROR(-20100, 'SQL_TEXT for SQL_ID &&sql_id. was not found in memory (gv$sqltext_with_newlines) or AWR (dba_hist_sqltext).');
　　
  4    END IF;
　　
  5  END;
　　
  6  /
　　
SQL>SET TERM OFF;
　　
SQL>BEGIN
　　
  2    IF :other_xml IS NULL THEN
　　
  3   RAISE_APPLICATION_ERROR(-20101, 'PLAN for SQL_ID &&sql_id. and PHV &&plan_hash_value. was not found in memory (gv$sql_plan) or AWR (dba_hist_sql_plan).');
　　
  4    END IF;
　　
  5  END;
　　
  6  /
　　
SQL>SET TERM OFF;
　　

　　
Execute coe_xfr_sql_profile_2ufquy7xs5nm5_1369807930.sql
　　
on TARGET system in order to create a custom SQL Profile
　　
with plan 1369807930 linked to adjusted sql_text.
　　

　　

　　
COE_XFR_SQL_PROFILE completed.
　　从输出可以看出，生成一个名为coe_xfr_sql_profile_2ufquy7xs5nm5_1369807930.sql的脚本。
　　c. 把后生成的脚本里的Outline Data部分的Hint组合替换到先生成的脚本里，即下图红框部分内容

　　d. 执行coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql脚本
zx@MYDB>@coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql　　
zx@MYDB>REM
　　
zx@MYDB>REM $Header: 215187.1 coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql 11.4.4.4 2017/02/28 carlos.sierra $
　　
zx@MYDB>REM
　　
zx@MYDB>REM Copyright (c) 2000-2012, Oracle Corporation. All rights reserved.
　　
zx@MYDB>REM
　　
zx@MYDB>REM AUTHOR
　　
zx@MYDB>REM   carlos.sierra@oracle.com
　　
zx@MYDB>REM
　　
zx@MYDB>REM SCRIPT
　　
zx@MYDB>REM   coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql
　　
zx@MYDB>REM
　　
zx@MYDB>REM DESCRIPTION
　　
zx@MYDB>REM   This script is generated by coe_xfr_sql_profile.sql
　　
zx@MYDB>REM   It contains the SQL*Plus commands to create a custom
　　
zx@MYDB>REM   SQL Profile for SQL_ID 6chcc0pvvhqqm based on plan hash
　　
zx@MYDB>REM   value 3617692013.
　　
zx@MYDB>REM   The custom SQL Profile to be created by this script
　　
zx@MYDB>REM   will affect plans for SQL commands with signature
　　
zx@MYDB>REM   matching the one for SQL Text below.
　　
zx@MYDB>REM   Review SQL Text and adjust accordingly.
　　
zx@MYDB>REM
　　
zx@MYDB>REM PARAMETERS
　　
zx@MYDB>REM   None.
　　
zx@MYDB>REM
　　
zx@MYDB>REM EXAMPLE
　　
zx@MYDB>REM   SQL> START coe_xfr_sql_profile_6chcc0pvvhqqm_3617692013.sql;
　　
zx@MYDB>REM
　　
zx@MYDB>REM NOTES
　　
zx@MYDB>REM   1. Should be run as SYSTEM or SYSDBA.
　　
zx@MYDB>REM   2. User must have CREATE ANY SQL PROFILE privilege.
　　
zx@MYDB>REM   3. SOURCE and TARGET systems can be the same or similar.
　　
zx@MYDB>REM   4. To drop this custom SQL Profile after it has been created:
　　
zx@MYDB>REM      EXEC DBMS_SQLTUNE.DROP_SQL_PROFILE('coe_6chcc0pvvhqqm_3617692013');
　　
zx@MYDB>REM   5. Be aware that using DBMS_SQLTUNE requires a license
　　
zx@MYDB>REM      for the Oracle Tuning Pack.
　　
zx@MYDB>REM   6. If you modified a SQL putting Hints in order to produce a desired
　　
zx@MYDB>REM      Plan, you can remove the artifical Hints from SQL Text pieces below.
　　
zx@MYDB>REM      By doing so you can create a custom SQL Profile for the original
　　
zx@MYDB>REM      SQL but with the Plan captured from the modified SQL (with Hints).
　　
zx@MYDB>REM
　　
zx@MYDB>WHENEVER SQLERROR EXIT SQL.SQLCODE;
　　
zx@MYDB>REM
　　
zx@MYDB>VAR signature NUMBER;
　　
zx@MYDB>VAR signaturef NUMBER;
　　
zx@MYDB>REM
　　
zx@MYDB>DECLARE
　　
  2  sql_txt CLOB;
　　
  3  h       SYS.SQLPROF_ATTR;
　　
  4  PROCEDURE wa (p_line IN VARCHAR2) IS
　　
  5  BEGIN
　　
  6  DBMS_LOB.WRITEAPPEND(sql_txt, LENGTH(p_line), p_line);
　　
  7  END wa;
　　
  8  BEGIN
　　
  9  DBMS_LOB.CREATETEMPORARY(sql_txt, TRUE);
　　
10  DBMS_LOB.OPEN(sql_txt, DBMS_LOB.LOB_READWRITE);
　　
11  -- SQL Text pieces below do not have to be of same length.
　　
12  -- So if you edit SQL Text (i.e. removing temporary Hints),
　　
13  -- there is no need to edit or re-align unmodified pieces.
　　
14  wa(q'[select /*+no_index(t1 idx_t1) */ * from t1 where n=1 ]');
　　
15  DBMS_LOB.CLOSE(sql_txt);
　　
16  h := SYS.SQLPROF_ATTR(
　　
17  q'[BEGIN_OUTLINE_DATA]',
　　
18  q'[IGNORE_OPTIM_EMBEDDED_HINTS]',
　　
19  q'[OPTIMIZER_FEATURES_ENABLE('11.2.0.1')]',
　　
20  q'[DB_VERSION('11.2.0.1')]',
　　
21  q'[ALL_ROWS]',
　　
22  q'[OUTLINE_LEAF(@"SEL$1")]',
　　
23  q'[INDEX(@"SEL$1" "T1"@"SEL$1" ("T1"."N"))]',
　　
24  q'[END_OUTLINE_DATA]');
　　
25  :signature := DBMS_SQLTUNE.SQLTEXT_TO_SIGNATURE(sql_txt);
　　
26  :signaturef := DBMS_SQLTUNE.SQLTEXT_TO_SIGNATURE(sql_txt, TRUE);
　　
27  DBMS_SQLTUNE.IMPORT_SQL_PROFILE (
　　
28  sql_text    => sql_txt,
　　
29  profile     => h,
　　
30  name        => 'coe_6chcc0pvvhqqm_3617692013',
　　
31  description => 'coe 6chcc0pvvhqqm 3617692013 '||:signature||' '||:signaturef||'',
　　
32  category    => 'DEFAULT',
　　
33  validate    => TRUE,
　　
34  replace     => TRUE,
　　
35  force_match => FALSE /* TRUE:FORCE (match even when different literals in SQL). FALSE:EXACT (similar to CURSOR_SHARING) */ );
　　
36  DBMS_LOB.FREETEMPORARY(sql_txt);
　　
37  END;
　　
38  /
　　

　　
PL/SQL procedure successfully completed.
　　

　　
zx@MYDB>WHENEVER SQLERROR CONTINUE
　　
zx@MYDB>SET ECHO OFF;
　　

　　
            SIGNATURE
　　
---------------------
　　
  3589138201450662673
　　

　　

　　
           SIGNATUREF
　　
---------------------
　　
  8068435081012723673
　　

　　

　　
... manual custom SQL Profile has been created
　　

　　

　　
COE_XFR_SQL_PROFILE_6chcc0pvvhqqm_3617692013 completed
　　e. 执行完成后再次查看目标SQL的执行计划
zx@MYDB>select /*+no_index(t1 idx_t1) */ * from t1 where n=1;　　

　　
         N
　　
----------
　　
         1

　　从执行计划中可以看出已经走了INDEX RANGE SCAN，而且note部分提示SQL profile coe_6chcc0pvvhqqm_3617692013 used for this statement，说明执行sql时使用了该SQL Profile。
　　如果想在目标SQL的SQL文本发生变动时SQL Profile依然生效，则需要修改生成的脚本里的force_match=>true。
　　参考：《基于Oracle的SQL优化》
　　官方文档：http://docs.oracle.com/cd/E11882_01/server.112/e41573/sql_tune.htm#PFGRF94854
　　http://docs.oracle.com/cd/E11882_01/appdev.112/e40758/d_sqltun.htm#CHDGAJCI