Mysql 双主+keepalived 实现高可用及读写分离(二)

五郎.

故障处理

一、写数据的库服务器或者网络出现故障：
测试环境简介：
1.10.10.10.40   mysql+keepalive
2.10.10.10.41   mysql+keepalive
3.写入VIP：10.10.10.21（40主，41从）
4.读取VIP：10.10.10.44(41主，40从)

故障一：40(写)服务器或者网络故障，虚拟ip 21切换到41

1、 40服务器恢复后，不要插上网线或者修改40的iP（防止数据自动同步，导致数据污染）
2、 暂时关闭keepalive（默认开机不启动）
3、 启动40的mysql并停掉slave，防止41数据同步到40，同时插上网线或者修改iP为40；
4、 检查41的slave状态是有主键冲突，如果有主键冲突，导出40上的数据，并做删除；
5、 重启41的slave，查看是否还有主键冲突，如果有继续上步操作，直到41的slave状态恢复正常；
6、 开启40的slave并查看slave状态，正常情况下应该不会出现主键冲突，如果有主键冲突，导出数据并分析原因，(根据实际情况处理)
7、 检查40与41服务器数据是否一致，如果数据一致，切换VIP 44(读虚拟IP)到40,修改步骤如下:
  a)修改41的keepalive配置vrrp_instance VI_2 中state状态为BACKUP、priority 修改为90
b)重启41 keepalive（确保40的keepalive是关闭状态）
c)修改40的keepalive配置vrrp_instance VI_2 中state状态为MASTER、priority 修改为180
d)重启40的keepalive
e)检查VIP 44（读虚拟IP）是否切到40上，并且VIP 21（写虚拟IP）应该保留在41上。
8、 线上应用测试（读与写）

故障修复后的状态应该是：
1.10.10.10.40   mysql+keepalive
2.10.10.10.41   mysql+keepalive
3.写入VIP：10.10.10.21（41主，40从）
4.读取VIP：10.10.10.44(40主，41从)

故障二、41(读)数据库出现故障，VIP 44（读虚拟IP）切到40服务器
1、修复41服务器之前应断开网线或者修改ip(防止读VIP自动切回)
2、关闭keepalive 所以服务器上的keepalive 最好设计成开不会自动启动命令如下：chkconfig keepalived off
3、检查41数据库的slave状态是否正常，数据库数据同步是否正常
4、数据同步完成后启动keepalive，检查读取数据的虚拟IP 44应该切回本服务器，写数据的虚拟IP不变。
5、应用测试读写数据是否正常

故障三、两台数据库服务器同时故障
1、 开启40和41数据库之前，先断网线
2、 分别检查40和41服务器的mysql更新的最新时间
3、 如果40数据比较新，先插上40的网线，使其对外提供服务。
3.1检查读和写的虚拟iP是否都在40上
3.2关闭41上的keepalive，并且开启41上msyql的salve，同步40上的数据
3.3如果同步正常启动keepalive
3.4测试读写数据是否正常
4、如果41的数据比较新，就先插上41的网线，使其对外提供服务
       4.1 检查读和写的虚拟ip是否都在41上
       4.2 关闭40上的keepalive，并且开启40上mysql的save，开始同步41上的数据
       4.3如果同步正常，启动40的keepalive
       4.4测试读写数据是否正常
       4.5应用测试程序是否正常