Mysql DBA 高级运维学习之路-MySQL备份与恢复实战案例及生产方案

q3256

1.全量备份与增量备份

1.1  全量备份
　　全量数据就是数据库中所有的数据，全量备份就是把数据库中所有的数据进行备份。
　　备份所有库：
　　

mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B –A gzip >/server/backup/mysq_backup_$(date +%F).sql.gz　　

　　备份一个库：
　　

mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B linzhongniao|gzip >/server/backup/mysq_backup_$(date +%F).sql.gz　　

1.2 增量备份
　　增量备份是从上次全量备份之后更新的数据，对mysql来说binlog就是增量备份数据。增量备份可以按天备份。第二天做全备了，理论上前一天的备份就没用了。我们一般主服务器的增量备份一般保持七天，可以通过设置my.cnf配置文件中的expire_logs_days参数让它的值等于7.备份服务器上增量备份一般保持180天。按天备份就是一天做一次全量备份，每天的零点全量备份，零点之前做增量备份；除了按天全备也可以按周全备，一周做一次全备每天做增量备份。
　　按天备份的优点：恢复时间：短 维护成本：低
　　缺点：占用空间多，占用系统资源多，经常锁表影响用户体验。
　　按周全备的优点：占用空间少，占用系统资源少用户体验好一些。
　　缺点：恢复麻烦维护正本高，时间长。
　　企业场景全备和增量的频率是怎么做的呢？
　　（1）中小公司，全量一般是每天一次，业务流量低谷执行全备，执行前需要锁表。
　　（2）单台数据库没有做主从同步，如何增量。用rsync(配合定时任务频率大点，或者inotify,主从复制)把所有binlog备份到远程服务器,尽量做主从复制。
　　增量备份的例子：
　　

rsync –avz /data/3306/mysql-bin.000* rsync_backup@192.168.1.116::backup –-password-file=/etc/rsync.password　　

　　（3）大公司周备，每周六00点一次全量，下周日-下周六00点前都是增量。
　　有点：节省备份时间，减小备份压力，缺点：增量的binlog文件副本太多，还原会很麻烦。
　　（4）一主多从，会有一个从库做备份，延迟同步。
　　Mysql的mysqldump备份什么时候派上用场？
　　a.迁移或者升级数据库时。
　　b.增加从库的时候。
　　c.因为硬件或特殊异常情况，主库或从库宕机，主从可以切换，无需备份。把其中一个同步最快的切换为主库即可。
　　d.人为的DDL、DML语句，主从库没办法了，所有库都会执行，此时需要备份。
　　e.跨机房灾备，需备份拷贝走数据。

2.MySQL增量恢复必备条件

2.1 开启MySQL log-bin 日志功能
　　

[root@mysql ~]# egrep "\[mysqld]|log-bin" /data/3306/my.cnf　　
[mysqld]
　　
log-bin = /data/3306/mysql-bin
　　

　　提示：主库和备份的从库都需要开启binlog记录功能。
　　小结：增量恢复的条件：
　　存在一份全备加上全备之后的时刻到出问题时刻的所有增量binlog文件备份。

2.2   存在MySQL数据库全备

2.2.1   生产环境mysqldump备份命令
　　在凌晨某一时刻进行数据库全备（生产场景一般通过定时任务每日凌晨执行），备份命令如下：
　　

mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B linzhongniao|gzip >/server/backup/mysq_backup_$(date +%F).sql.gz　　

　　innode引擎备份
　　

mysqldump -uroot -p123456 -S /data/3306/mysql.sock --single-transaction -A -B|gzip >/server/backup/mysql_$(date +%F).sql.gz　　

　　myisam引擎备份
　　

mysqldump -uroot -p123456 -S /data/3306/mysql.sock --lock-all-tables  -A -B|gzip >/server/backup/mysql_$(date +%F).sql.gz　　

2.3  数据恢复思想

　　恢复思想就是先找到发生故障的原因，，谁在什么时候做了什么操作，检查是不是这个操作导致数据库故障。之后尽量停止数据库对外访问，先备份0:00到十点更新的数据binlog日志文件，刷新binlog。第一步先恢复全备，第二步增量恢复0：00到10:00这个时间段的数据。

3.实战演示数据恢复过程

3.1  执行语句并检查环境

3.1.1 执行建库建表语句及插入数据库语句
　　

[root@mysql ~]# mysql -uroot -p123456 -S /data/3306/mysql.sock　　
Welcome to the MySQL monitor.  Commands end with ; or \g.

　　
Your MySQL connection>　　
Server version: 5.5.32-log Source distribution
　　

　　
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
　　

　　
Oracle is a registered trademark of Oracle Corporation and/or its
　　
affiliates. Other names may be trademarks of their respective
　　
owners.
　　

　　
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
　　
mysql> show variables like '%chaeacter_set%';
　　
Empty set (0.01 sec)
　　
mysql> create table student(

　　
->>　　
-> name char(20) not null,
　　
-> primary key(id)
　　
-> );
　　
Query OK, 0 rows affected (0.01 sec)
　　
mysql> insert into student(name) values('nishishei');
　　
Query OK, 1 row affected (0.00 sec)
　　

　　
mysql> insert into student(name) values('zhangsan');
　　
Query OK, 1 row affected (0.00 sec)
　　

　　
mysql> insert into student(name) values('lisi');
　　
Query OK, 1 row affected (0.00 sec)
　　

3.1.2 检查数据库及数据
　　检查是否有linzhongniao库
　　

mysql> show databases like 'linzhongniao';　　
+-------------------------+
　　
| Database (linzhongniao) |
　　
+-------------------------+
　　
| linzhongniao|
　　
+-------------------------+
　　
1 row in set (0.00 sec)
　　

4.凌晨0点全量备份数据库

4.1  定时任务数据库备份脚本
　　(1) 这里我们使用MySQL主从复制课程内容里的备份脚本
　　

#/bin/sh　　
#Date: 2018-02-11
　　
#Author: Create by linzhongniao
　　
#Mail: xxxxxxxxx@163.com
　　
#Function:This scripts function is More complex backup scripts, which need to find binlog log files and location points
　　
#Version: 1.1
　　
USER=root
　　
PASS=123456
　　
MYSOCK=/data/3306/mysql.sock
　　
DATA_PATH=/server/backup
　　
DATA_FILE=${DATA_PATH}/mysql_backup_`date +%F`.sql.gz
　　
LOG_FILE=${DATA_PATH}/mysql_backup_`date +%F`.log
　　
MYSQL_PATH=/usr/local/mysql/bin
　　
mysqldb=linzhongniao
　　
#--single-transaction Specifically for the InnoDB engine, when the data is updated when the data is updated, it can't see the whole isolation.
　　
MYSQL_DUMP="${MYSQL_PATH}/mysqldump -u$USER -p$PASS -S $MYSOCK --events -B -F --master-data=2 --single-transaction $mysqldb"
　　
MYSQL_CMD="${MYSQL_PATH}/mysql -u$USER -p$PASS -S $MYSOCK"
　　
cat |${MYSQL_CMD}$LOG_FILE;
　　
system ${MYSQL_CMD} -e "show master status"|tail -1 >>$LOG_FILE;
　　
system ${MYSQL_DUMP}|gzip > $DATA_FILE;
　　
unlock tables;
　　
quit
　　
EOF
　　

　　(2)  执行脚本全量备份linzhongniao库原理
　　

[root@mysql ~]# date -s '2018/02/11' 更改系统时间模拟零点时刻　　
2018年 02月 11日 星期日 00:00:00 CST
　　
[root@mysql ~]# mysqldump -uroot -p123456 -S /data/3306/mysql.sock -F -B --master-data=2 linzhongniao|gzip >/server/backup/bak_$(date +%F).sql.gz
　　

　　查看备份的数据
　　

[root@mysql ~]# ll /server/backup/　　
总用量 684
　　-rw-r--r--. 1 root root203 2月  10 23:26 mysq_backup_2018-02-10.sql.gz
　　-rw-r--r--. 1 root root 529266 2月   8 19:11 mysql_backup_2018-02-08.sql
　　-rw-r--r--. 1 root root805 2月  10 23:18 mysql_backup_2018-02-10.sql.gz
　　-rw-r--r--. 1 root root306 2月  11 00:25 mysql_backup_2018-02-11.log
　　-rw-r--r--. 1 root root915 2月  11 00:25 mysql_backup_2018-02-11.sql.gz
　　-rw-r--r--. 1 root root805 2月  10 23:18 mysql_backup_.sql
　　

　　(3) 实际工作中是通过定时任务来备份的
　　

[root@mysql ~]# crontab –l　　
#mysql backup by linzhongniao on 20180211
　　
00 00 * * * /bin/sh beifen1.sh >/dev/null 2>&1
　　

4.2  备份后查看binlog日志情况
　　

[root@mysql ~]# ll /data/3306/　　
总用量 172
　　
drwxr-xr-x. 8 mysql mysql  4096 2月  12 2018 data
　　
-rw-r--r--. 1 mysql mysql  2099 2月  10 06:48 my.cnf
　　
-rwx------. 1 root  root   1126 2月   8 10:10 mysql
　　
-rw-rw----. 1 mysql mysql  1227 2月   8 19:17 mysql-bin.000001
　　
-rw-rw----. 1 mysql mysql   126 2月   9 05:20 mysql-bin.000002
　　
-rw-rw----. 1 mysql mysql   239 2月   9 05:25 mysql-bin.000003
　　
-rw-rw----. 1 mysql mysql   458 2月   9 05:30 mysql-bin.000004
　　
-rw-rw----. 1 mysql mysql   233 2月   9 05:34 mysql-bin.000005
　　
-rw-rw----. 1 mysql mysql   415 2月   9 05:57 mysql-bin.000006
　　
-rw-rw----. 1 mysql mysql   126 2月   9 05:59 mysql-bin.000007
　　
-rw-rw----. 1 mysql mysql   126 2月   9 05:59 mysql-bin.000008
　　
-rw-rw----. 1 mysql mysql   388 2月   9 08:22 mysql-bin.000009
　　
-rw-rw----. 1 mysql mysql   652 2月  10 04:51 mysql-bin.000010
　　
-rw-rw----. 1 mysql mysql   107 2月  10 04:51 mysql-bin.000011
　　
-rw-rw----. 1 mysql mysql  3355 2月  10 06:17 mysql-bin.000012
　　
-rw-rw----. 1 mysql mysql   126 2月  10 06:17 mysql-bin.000013
　　
-rw-rw----. 1 mysql mysql   126 2月  10 06:17 mysql-bin.000014
　　
-rw-rw----. 1 mysql mysql  1914 2月  10 08:34 mysql-bin.000015
　　
-rw-rw----. 1 mysql mysql   150 2月  10 23:18 mysql-bin.000016
　　
-rw-rw----. 1 mysql mysql   150 2月  10 23:18 mysql-bin.000017
　　
-rw-rw----. 1 mysql mysql   126 2月  11 2018 mysql-bin.000018
　　
-rw-rw----. 1 mysql mysql   150 2月  11 00:24 mysql-bin.000019
　　
-rw-rw----. 1 mysql mysql   150 2月  11 00:24 mysql-bin.000020
　　
-rw-rw----. 1 mysql mysql   150 2月  11 00:25 mysql-bin.000021
　　
-rw-rw----. 1 mysql mysql   893 2月  11 01:41 mysql-bin.000022
　　
-rw-rw----. 1 mysql mysql   616 2月  11 00:25 mysql-bin.index
　　
-rw-rw----. 1 mysql mysql 5 2月  12 2018 mysqld.pid
　　
srwxrwxrwx. 1 mysql mysql 0 2月  12 2018 mysql.sock
　　
-rw-r-----. 1 mysql root  42156 2月  12 2018 mysql_zbf3306.err

　　
-rw-rw----. 1 mysql mysql56 2月  11 00:34>
　　
-rw-rw----. 1 mysql mysql55 2月  11 01:41>　　

　　提示：我们可以看用-F参数备份生成的新的文件mysql-bin.000022，增量恢复就是从mysql-bin.000022开始的。

5.备份后模拟用户继续更新数据

5.1  模拟网站用户更新数据
　　因为在0点备份后到发生故障这个时间段内，用户还会随时的更新数据
　　

[root@mysql ~]# mysql -uroot -p123456 -S /data/3306/mysql.sock　　
Welcome to the MySQL monitor.  Commands end with ; or \g.

　　
Your MySQL connection>　　
Server version: 5.5.32-log Source distribution
　　

　　
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
　　

　　
Oracle is a registered trademark of Oracle Corporation and/or its
　　
affiliates. Other names may be trademarks of their respective
　　
owners.
　　

　　
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
　　
mysql> use linzhongniao
　　
Database changed
　　
mysql> insert into student(name) values('linzhongniao10');
　　
Query OK, 1 row affected (0.35 sec)
　　

　　
mysql> insert into student(name) values('linzhongniao11');
　　
Query OK, 1 row affected (0.00 sec)
　　

　　
mysql> insert into student(name) values('linzhongniao12');
　　
Query OK, 1 row affected (0.00 sec)
　　

　　
mysql> select * from student;
　　
+----+----------------+

　　
|>　　
+----+----------------+
　　
|  1 | nishishei  |
　　
|  3 | zhangsan   |
　　
|  5 | lisi   |
　　
|  6 | burenshi   |
　　
|  8 | liushishi  |
　　
| 10 | luhan  |
　　
| 11 | linzhongniao10 |
　　
| 13 | linzhongniao11 |
　　
| 15 | linzhongniao12 |
　　
+----+----------------+
　　
9 rows in set (0.00 sec)
　　
mysql>
　　

5.2   查看备份后再次更新后的数据库内容
　　一会儿我们模拟故障恢复后还应是这些数据，如果不是这些数据就是丢失了数据。
　　

mysql> select * from linzhongniao.student;　　
+----+----------------+

　　
|>　　
+----+----------------+
　　
|  1 | nishishei  |
　　
|  3 | zhangsan   |
　　
|  5 | lisi   |
　　
|  6 | burenshi   |
　　
|  8 | liushishi  |
　　
| 10 | luhan  |
　　
| 11 | linzhongniao10 |
　　
| 13 | linzhongniao11 |
　　
| 15 | linzhongniao12 |
　　
+----+----------------+
　　
9 rows in set (0.00 sec)
　　

6.模拟用户破坏数据库

6.1  删除数据库linzhongniao
　　公司的老大于早晨10点，执行了删除数据库语句。然后跟没事儿人一样，本来想删除一个没有用的库。
　　

mysql> drop database linzhongniao;　　
Query OK, 1 row affected (0.11 sec)
　　

6.2 检查破坏结果
　　Linzhongniao库不见了
　　

mysql> show databases;　　
+--------------------+
　　
| Database   |
　　
+--------------------+
　　
| information_schema |
　　
| dfhjdhf|
　　
| mysql  |
　　
| performance_schema |
　　
| school |
　　
| test   |
　　
+--------------------+
　　

　　6 rows in set (0.00 sec)

6.3 发现故障排查并检查原因
　　数据库出问题10分钟后，公司的网站运营人员报网站故障，联系dba运维人员解决。此时，dba人员或开发人员查看网站报错（或者查看后台日志）。可以看到连不上linzhongniao数据库的显示。然后登录数据库排查，可以发现数据库linzhongniao库确实不在。经过多方询问得知老大早晨要处理一下数据库，于是问老大都干啥了。答曰，10点左右刚刚清除了一个“没有用的”数据库。致此问题原因找到，开始准备恢复，原因还有可能是开发人员通过程序日志判断。
　　提示：数据库的权限管理思想就在这里。不让别人有delete权限。

7.增量备份过程
　　通过防火墙禁止web等应用向主库写数据，让主库暂停更新，然后进行恢复。

7.1 检查全备及binlog日志

7.1.1 检查凌晨备份
　　

[root@mysql ~]# ll /server/backup/mysql_backup_2018-02-11.*　　
-rw-r--r--. 1 root root 306 2月  11 00:25 /server/backup/mysql_backup_2018-02-11.log
　　
-rw-r--r--. 1 root root 915 2月  11 00:25 /server/backup/mysql_backup_2018-02-11.sql.gz
　　

7.1.2 检查全备后的所有binlog
　　

[root@mysql backup]# ls -lrt /data/3306/ >/opt/mysql-bin.txt　　
[root@mysql backup]# sed -n "21,30p" /opt/mysql-bin.txt
　　-rw-rw----. 1 mysql mysql   150 2月  11 00:24 mysql-bin.000019
　　-rw-rw----. 1 mysql mysql   150 2月  11 00:24 mysql-bin.000020
　　-rw-rw----. 1 mysql mysql   150 2月  11 00:25 mysql-bin.000021
　　-rw-rw----. 1 mysql mysql   616 2月  11 00:25 mysql-bin.index

　　-rw-rw----. 1 mysql mysql   253 2月  11 00:34>
　　-rw-rw----. 1 mysql mysql   253 2月  11 00:34>
　　-rw-rw----. 1 mysql mysql56 2月  11 00:34>　　-rw-rw----. 1 mysql mysql   126 2月  11 07:51 mysql-bin.000018
　　
drwxr-xr-x. 7 mysql mysql  4096 2月  11 23:52 data
　　-rw-rw----. 1 mysql mysql   995 2月  11 23:52 mysql-bin.000022
　　

　　提示：我们在0点执行的全备，所以binlog日志文件是从0点往后更新的。我们可以用mysqlbinlog参数查看一下零点之后更新的binlog文件，看看里面有没有更新的数据。当然我们也可以通过查看0点全备的数据文件里面的change master的位置来查看最新更新的binlog文件。可以看到执行全备后的所有binlog日志文件，它里面记录了从0点全备之后到第二天十点所有有更新的数据包括执行的误操作，所以我们在增量恢复的时候必须把执行误操作的那条语句删掉。例如本次演示应该把drop那条语句删掉。
　　

[root@mysql ~]# grep -i "change" /server/backup/mysql_backup_2018-02-11.sql　　-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000022', MASTER_LOG_POS=107;
　　

7.1.3 立即刷新并备份出binlog
　　一般数据库故障我们要停止数据库，如果领导说不能停,这种情况下我们要刷新一下binlog。刷新一下binlog就会生成一个新的mysql-bin日志文件mysql-bin.000023，这时候再更新数据就会往这个新的里面写。现在增量恢复的目标就是mysql-bin.000022。
　　

[root@mysql ~]# mysqladmin -uroot -p123456 -S /data/3306/mysql.sock flush-logs　　
[root@mysql ~]# ls -lrt /data/3306/ >/opt/mysql-bin.txt
　　
[root@mysql ~]# vim /opt/mysql-bin.txt
　　
[root@mysql ~]# sed -n "21,27p" /opt/mysql-bin.txt
　　-rw-rw----. 1 mysql mysql   150 2月  11 00:24 mysql-bin.000019
　　-rw-rw----. 1 mysql mysql   150 2月  11 00:24 mysql-bin.000020
　　-rw-rw----. 1 mysql mysql   150 2月  11 00:25 mysql-bin.000021
　　-rw-rw----. 1 mysql mysql   126 2月  11 07:51 mysql-bin.000018
　　
drwxr-xr-x. 7 mysql mysql  4096 2月  11 23:52 data
　　-rw-rw----. 1 mysql mysql  1038 2月  12 01:36 mysql-bin.000022
　　-rw-rw----. 1 mysql mysql   107 2月  12 01:36 mysql-bin.000023
　　

7.1.4 增量备份binlog
　　（1）要把mysql-bin.000022拷贝出来防止二次破坏数据
　　

[root@mysql 3306]# cp mysql-bin.000022 /server/backup/　　

　　（2）将mysql-bin.000022解析成bin.sql数据文件
　　

[root@mysql backup]# mysqlbinlog -d linzhongniao mysql-bin.000022 >bin.sql　　
[root@mysql backup]# ll
　　
总用量 24
　　-rw-r--r--. 1 root root 2868 2月  12 13:45 bin.sql
　　-rw-r--r--. 1 root root  203 2月  10 23:26 mysq_backup_2018-02-10.sql.gz
　　-rw-r--r--. 1 root root  306 2月  11 00:25 mysql_backup_2018-02-11.log
　　-rw-r--r--. 1 root root 2331 2月  11 00:25 mysql_backup_2018-02-11.sql
　　-rw-r--r--. 1 root root  805 2月  10 23:18 mysql_backup_.sql
　　-rw-r-----. 1 root root 1038 2月  12 13:41 mysql-bin.000022
　　

8.恢复数据
　　如果不停库禁止对外访问就会有一个问题，什么问题呢？
　　第一个问题就是，在恢复的时候还有用户往数据库写数据，mysql-bin.000023还会记录更新的内容；全备恢复和增量恢复后还要恢复mysql-bin.000023更新的数据，备份mysql-bin.000023还得刷新binlog，增量恢复完mysql-bin.000023还得增量恢复更新的binlog，这样就死锁了老得恢复。
　　第二个问题就是，我们在增量恢复的时候，mysql-bin.000023也会记录全量和增量恢复的更新。在全量和增量恢复之后再恢复mysql-bin.000023更新的记录的时候就会导致主键冲突，可以编辑mysql-bin.000023解析成的mysql数据文件将冲突的数据删掉，如果数据多呢？还可以关闭sql_log_bin。关闭sql_log_bin就不会更新binlog日志文件了，这样会导致数据缺失。所以这个时候，最好的方法就是挺库，禁止对外访问，再做全量和增量备份。最根本的就是数据库的权限管理，不给删除修改权限，只有运维的有删除修改权限，防止故障的发生。谁有权限都要有记录，谁导致的故障要负责任。
　　

mysql> show variables like '%log_bin%';　　
+---------------------------------+-------+
　　
| Variable_name   | Value |
　　
+---------------------------------+-------+
　　
| log_bin | ON|
　　
| log_bin_trust_function_creators | OFF   |
　　
| sql_log_bin | ON|
　　

　　
3 rows in set (0.00 sec)
　　

8.1 全量恢复
　　

[root@mysql backup]# ll　　
总用量 24
　　
-rw-r--r--. 1 root root 2868 2月  12 13:45 bin.sql
　　
-rw-r--r--. 1 root root  203 2月  10 23:26 mysq_backup_2018-02-10.sql.gz
　　
-rw-r--r--. 1 root root  306 2月  11 00:25 mysql_backup_2018-02-11.log
　　
-rw-r--r--. 1 root root 2331 2月  11 00:25 mysql_backup_2018-02-11.sql
　　
-rw-r--r--. 1 root root  805 2月  10 23:18 mysql_backup_.sql
　　
-rw-r-----. 1 root root 1038 2月  12 13:41 mysql-bin.000022
　　
[root@mysql backup]# mysql -uroot -p123456 -S /data/3306/mysql.sock 　　
+----+----------------+
　　
|  1 | nishishei  |
　　
|  3 | zhangsan   |
　　
|  5 | lisi   |
　　
|  6 | burenshi   |
　　
|  8 | liushishi  |
　　
| 10 | luhan  |
　　
| 11 | linzhongniao10 |
　　
| 13 | linzhongniao11 |
　　
| 15 | linzhongniao12 |
　　
+----+----------------+
　　
9 rows in set (0.00 sec)
　　

9.增量恢复小结
　　1.人为SQL造成的误操作
　　2.全量和增量
　　3.恢复时建议对外停止更新
　　4.恢复全量，然后把增量日志中有问题的SQL语句删除，恢复到数据库。
　　增量恢复的核心思想：
　　1.流程制度的控制，如果不做，面临服务和数据，鱼和熊掌不可兼得。
　　2.可以通过延迟备份来解决或者通过监控，黑名单（不加where的语句是不让执行），白名单机制。
　　3.业务需求容忍度，选择停库，根据业务需求选择停库或锁表或者容忍丢失部分数据。