常青树 发表于 2018-10-20 14:30:26

MySQL SET GLOBAL SQL_SLAVE_SKIP_COUNTER = N 的解释

  一、背景
  2016-08-01发现3650专家网双主中断,问题原因是因为主键冲突,这时候使用 SET   GLOBAL SQL_SLAVE_SKIP_COUNTER 解决问题的时候,产生了一些疑问,下面是问题总结。
  二、SET   GLOBAL SQL_SLAVE_SKIP_COUNTER = N说明
  官方解释:This statement skips the next N events from the master.(即是跳过N个events,这里最重要的是理解event的含义。在mysql中,对于sql的 binary log 实际上是由一连串的event组成的一个组,即事务组。)
  MySQL从库从主库上复制binlog文件内容到本地执行。在binlog上命令以event的形式存在,并非一个命令对应一个event。以一个insert语句为例
  1、引擎InnoDB、binglog_format=statement, 在binlog中实际上有三个event,分别为begin\insert\commit 。 命令类型都是Query_log_event。
http://note.youdao.com/yws/res/1568/67B25264A5CA42E987677A646512D599
http://note.youdao.com/yws/res/1569/F7E5D71A80F8495AA6BAC8B651CBB1EF
  2、row模式的binlog里,event(Table_map_event和 Row_log_event) 计算时应与statement不同,不论引擎是否支持事务,一个insert语句都会加上BEGIN和commit,也即变成4个event。
http://note.youdao.com/yws/res/1566/D66395E348594896A0BCF01E0AD69957
http://note.youdao.com/yws/res/1560/849AF6617EA2474C9CF37AB0EAB8537B
  3、基于InnoDB引擎表的insert/delete/update操作都有显式样的BEGIN /COMMIT。
  看到这里有同学就会问,这是有问题的。如果当前的执行位置是某个insert语句开头,那使用 N=1实际上是从begin\insert\commit的第二个开始执行,这个insert语句还是不能被跳过。
  1、若N=1且当前event为BEGIN, 则N不变,跳过当前event继续。
  2、若N=1且当前event处于一个事务之内(BEGIN之后,COMMIT之前),则N不变,跳过当前event继续。
  当然如果N>1,则每跳过一个event都要N--,上面两个策略合起来就是一句话,当N=1时,会连续跳过若干个event,直到当前所在的事务结束。
  三、测试(模拟专家网线上主键冲突)
  1、表DDL
http://note.youdao.com/yws/res/1561/3578C43A5F6043FFBE094E60D9C5C80C
  2、首先手动从库插入3条测试数据
http://note.youdao.com/yws/res/1563/8DDB3E4B0EF349EE9665C71BC7147D89
http://note.youdao.com/yws/res/1571/050CF8C272A14589A33F5854E9E82B47
  3、主库再插入3条一样的数据造成人为的主键冲突错误
http://note.youdao.com/yws/res/1565/30F8CA5AD9DE4CF3B57A36FDE54AE3A7
http://note.youdao.com/yws/res/1570/029360119A9049BDB87F47A8741D772C
  4、这时候我们在从库show slave status\G会发现
http://note.youdao.com/yws/res/1564/72E67FCD3BA642B6B9E29C2D66E1E6FB
  5、这时候我们想修复主从复制如果用SET   GLOBAL SQL_SLAVE_SKIP_COUNTER这个方法应该跳过多少个event呢?我们可以使用以下方法:
  1)首先主库show binlog events in 'mysql-bin.000011' from 810; (file和pos根据错误信息填写)
http://note.youdao.com/yws/res/1559/86B57891A75C41BBB583CE589AFA1788
  2)从库根据event行数跳过响应event
http://note.youdao.com/yws/res/1567/64F3CBD5D957490D9116F034749DC26C
  3)查看从库状态是否被修复
http://note.youdao.com/yws/res/1562/1AAF50F180AF48A2AB3C0676D806831C
  四、结论
  1、set global sql_slave_skip_counter=N中的N是指跳过N个event
  2、最好记的是N被设置为1时,效果跳过下一个事务。
  3、跳过第N个event后,位置若刚好落在一个事务内部,则会跳过这整个事务
  4、一个insert/update/delete不一定只对应一个event,由引擎和日志格式决定

页: [1]
查看完整版本: MySQL SET GLOBAL SQL_SLAVE_SKIP_COUNTER = N 的解释