pt-table-checksum/pt-table-sync的工作原理

535234

pt-table-checksum/pt-table-sync的工作原理

pt-tables-checksum原理:

1.set @@binlog_format = statement ,这是一个session级别的设置,并不会影响整个binlog的格式
2.检查表是否有唯一键
3.查找chunk的最大唯一键id和最小唯一键id
4.查询这些数据,并将这些数据通过concat_ws,转化成一个字符串然后通过crc32核对检验码
生成replace  into  table_name  select  ********************
5.生成update 语句

具体语句如下：
REPLACE INTO `mysql`.`cksum` (db, tbl, chunk, chunk_index, lower_boundary, upper_boundary, this_cnt, this_crc)
SELECT 'agent', 'iw_agent_port_record_2015', '432', 'PRIMARY', '4659216', '4669215', COUNT(*) AS cnt, COALESCE(LOWER(CONV(BIT_XOR(CAST(CRC32(CONCAT_WS('#', `id`, `agent_id`, `group_id`, `mendian_id`, `area_id`, `big_area_id`, `city_id`, `duoshenqu_id`, `mobile`, `name`, `mendian_name`, `port_num`, `new_num`, `online_num`, `usable_online_total_num`, `fresh_num`, `usable_fresh_total_num`, `click_num`, `record_date`, `biz_type`, `create_time`, `add_customer`, `port_input_fresh`, `port_input_recharge`, `better_house`, `can_add_house`, `port_count`, UNIX_TIMESTAMP(`updatetime`), `data_input_flag`, `repeat_customer`, `agent_add_customer`, `paid_performance`, `outstanding_performance`, `repeat_customer_person`, `agent_add_customer_person`, CONCAT(ISNULL(`agent_id`), ISNULL(`group_id`), ISNULL(`mendian_id`), ISNULL(`area_id`), ISNULL(`big_area_id`), ISNULL(`city_id`), ISNULL(`duoshenqu_id`), ISNULL(`mobile`), ISNULL(`mendian_name`), ISNULL(`port_num`), ISNULL(`new_num`), ISNULL(`online_num`), ISNULL(`usable_online_total_num`), ISNULL(`fresh_num`), ISNULL(`usable_fresh_total_num`), ISNULL(`click_num`), ISNULL(`create_time`), ISNULL(`add_customer`), ISNULL(`port_input_fresh`), ISNULL(`port_input_recharge`), ISNULL(`better_house`), ISNULL(`can_add_house`), ISNULL(`port_count`), ISNULL(`updatetime`), ISNULL(`data_input_flag`), ISNULL(`repeat_customer`), ISNULL(`agent_add_customer`), ISNULL(`paid_performance`), ISNULL(`outstanding_performance`), ISNULL(`repeat_customer_person`), ISNULL(`agent_add_customer_person`)))) AS UNSIGNED)), 10, 16)), 0) AS crc FROM `agent`.`iw_agent_port_record_2015` FORCE INDEX(`PRIMARY`) WHERE ((`id` >= '4659216')) AND ((`id` <= '4669215')) /*checksum chunk*/

UPDATE `mysql`.`cksum` SET chunk_time = '0.093958', master_crc = 'd9dd0b15', master_cnt = '10000' WHERE db = 'agent' AND tbl = 'iw_agent_port_record_2015' AND chunk = '432

这些语句按照一定顺序在slave上执行,就可以得到slave上chunk 数据的crc32校验码了。

存在bug
这个bug可以理解为,表中列的数据类型不能全部为数据类型。
http://blog.iyunv.com/uid-16844903-id-3480621.html


pt-table-sync的工作原理：
这个工具可以单独使用,也可以是基于pt-table-checksum的检验结果使用

基于pt-table-checksum结果集的pt-table-sync的工作原理
1.找到数据不一致的chunk
1.开启事务 for update 锁定一条记录
2.生成crc32校验码
3.在主库上执行 show master status 得到 binlog  postion  
4.在从库上 select master_pos_wait(binlog_file,postion)
5.等到从库执行到 binlog postion 在从库上 生成crc32校验码,
6.比对两个crc32 检验码 是否一样 ,一样 就 进行下一条数据的校验,
如果不一样,生成语句(replace[inset,update],delete)
7.提交事务


pt-table-sync的工作原理
1.检查表是否有唯一键
2.查找chunk的最大id和最小id
3.开启事务 对chunk加for update,
4.通过concat_ws,crc32算出校验码
5.在从库上执行select master_pos_wait(binlogfile,postion)
6.然后等待从库执行到 binlogfile ,postion 位置, 生成chunk的crc32检验码
7.比对两个crc32校验码,如果crc32校验码一样,就进行下一个chunk的校验,
如果crc32校验码不一样,就深入到chunk的内部比对行的crc32检验码
8.提交事务



以下是一个简易的校验脚本

#!/usr/bin/env sh
PATH="/usr/local/bin:/usr/local/sbin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/usr/local/bin"

m_host='db-servername'
m_user='root'
m_pwd='asdf'
chunksize=10000
m_db='information_schema,mysql,performance_schema,test'

cd /tmp/20160721

pt-table-checksum --nocheck-replication-filters --no-check-binlog-format     --replicate=mysql.cksum  --recursion-method=hosts   --ignore-databases=${m_db}     h=${m_host}
,u=${m_user},p=${m_pwd}  --chunk-size=${chunksize}  


# 从主库开始检验，校验所有的服务器
# pt-table-sync --replicate=mysql.cksum --charset=utf8 h=db-master,u=root,p='exoAzPw@3698XYz!)MZ12a',P=3306 --print

# 从 slave开始检验 只校验制定的服务器
# pt-table-sync --print --replicate mysql.cksum --sync-to-master h=db-report,P=3307,u='root',p='exoAzPw@3698XYz!)MZ12a'