percona-xtrabackup实现数据库备份和灾难恢复

fgew2

目录
1、工具介绍
2、工具安装
3、备份策略及准备测试数据
4、全备份数据
5、增量备份数据
6、灾难恢复
7、总结
1、工具介绍
percona-xtrabackup软件包中中包含了两个工具，一个是xtrabackup，另一个是innobackupex，innobackupex由per进行封装，在对innodb表进行备份时会自动调用xtraback工具，所以对InnoDB表做备份的实际是xtrabackup这个工具，xtrabackup也只能对innodb表做备份，这是一个专门对innodb开发的热备工具，而对myisam这样的其他引擎的表则由innobackupex来负责备份，若是全备份加增量的方案，那每次增量innobackupex工具对非innodb表都是全备份且会请求读锁。
xtrabackup对innodb表进行备份时不再只是简单复制文件，而是利用在innodb存储引擎层中的LSN（日志序列号）的新旧来识别这一数据页是否需要备份。
xtraback工具对innodb引擎完美支持真正的热备份，备份好的数据中数据文件与事务日志的文件因innodb cache等因素的存在，所以备份好的数据和事务日志中的数据往往是不一致的，所以，在做数据恢复时需要把事务日志中已提交的事务做redo，没有提交的事务做undo操作，这就是在做数据恢复时要做的准备工作，即prepare。
2、工具安装
系统环境：

1 2 3 4 5

[iyunv@mariadb ~]# cat /etc/issue CentOS release 6.4 (Final) Kernel \r on an \m [iyunv@mariadb software]# uname -r 2.6.32-358.el6.x86_64

安装依赖包及percona-xtrabackup：

1 2	[iyunv@mariadb ~]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL [iyunv@mariadb ~]# rpm -ivh percona-xtrabackup-2.1.9-744.rhel6.x86_64.rpm  #安装的2.1.9版本

顺便把percona的工具集装上：

1 2	[iyunv@mariadb ~]# yum -y install perl-IO-Socket-SSL  #percona-toolkit依赖包 [iyunv@mariadb ~]# rpm -ivh percona-toolkit-2.2.13-1.noarch.rpm

3、备份策略及准备测试数据
采用先全备份加增量备份的方案。在利用xtrabackup对innodb表做备份工作时，建议mysql启用“innodb_file_per_table=1”变量，这样使每表都有一个自己的表空间，不然很难进行单表备份和还原。还有一点建议，二进制日志文件就不要与数据文件放在同一个目录了，你不想当数据丢失时，二进制日志也一同丢了。
测试数据：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

mysql> SELECT VERSION(); +------------+ | VERSION()  | +------------+ | 5.5.36-log | +------------+ 1 row in set (0.00 sec) mysql> SHOW DATABASES; #创建了一个mydb1数据库 +--------------------+ | Database           | +--------------------+ | information_schema | | mydb1              | | mysql              | | performance_schema | | test               | +--------------------+ mysql> SELECT * FROM mydb1.tb1; #表中只有一条数据 +----+------+------+ | id | name | age  | +----+------+------+ |  1 | tom  |   10 | +----+------+------+

创建备份数据存放目录：

1 2 3

[iyunv@mariadb ~]# mkdir -pv /backup/{fullbackup,incremental} #fullbackup  存放全备份数据 #incremental 存放增量备份数据

创建复制用户：

1 2	mysql> GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT ON *.* TO 'bkuser'@'localhost' IDENTIFIED BY '123456'; mysql> FLUSH PRIVILEGES;

4、全备份数据

1 2 3 4 5 6 7 8 9 10 11 12

[iyunv@mariadb ~]# innobackupex --user=bkuser --password=123456 /backup/fullbackup/ #最后出现“150415 16:30:23  innobackupex: completed OK!”这样的信息表示备份完成 [iyunv@mariadb ~]# ls /backup/fullbackup/2015-04-15_16-30-19/ backup-my.cnf  mysql               xtrabackup_binary       xtrabackup_logfile ibdata1        performance_schema  xtrabackup_binlog_info mydb1          test                xtrabackup_checkpoints [iyunv@mariadb ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints backup_type = full-backuped from_lsn = 0 to_lsn = 1644877 last_lsn = 1644877 compact = 0

5、增量备份数据
先做一些数据修改：

1 2 3 4 5 6 7 8

mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('jack',20); mysql> SELECT * FROM tb1;  #增加一条数据 +----+------+------+ | id | name | age  | +----+------+------+ |  1 | tom  |   10 | |  2 | jack |   20 | +----+------+------+

做第一次增量备份：

1 2 3 4 5 6 7 8 9 10 11

[iyunv@mariadb ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/fullbackup/2015-04-15_16-30-19/ [iyunv@mariadb ~]# ls /backup/incremental/2015-04-15_16-42-00/ backup-my.cnf  mydb1               test                    xtrabackup_checkpoints ibdata1.delta  mysql               xtrabackup_binary       xtrabackup_logfile ibdata1.meta   performance_schema  xtrabackup_binlog_info [iyunv@mariadb ~]# cat /backup/incremental/2015-04-15_16-42-00/xtrabackup_checkpoints backup_type = incremental from_lsn = 1644877  #这是全备时的"to_lsn"值 to_lsn = 1645178 last_lsn = 1645178 compact = 0

再做数据修改：

1 2 3 4 5 6 7 8 9

mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('jason',30); mysql> SELECT * FROM tb1; +----+-------+------+ | id | name  | age  | +----+-------+------+ |  1 | tom   |   10 | |  2 | jack  |   20 | |  3 | jason |   30 | +----+-------+------+

做第二次增量备份：

1 2 3 4 5 6 7 8 9 10 11 12

[iyunv@mariadb ~]# innobackupex --user=bkuser --password=123456 --incremental /backup/incremental/ --incremental-basedir=/backup/incremental/2015-04-15_16-42-00/ #这里的"--incremental-basedir"是指向第一次增量备份的目录 [iyunv@mariadb ~]# ls /backup/incremental/2015-04-15_16-49-07/ backup-my.cnf  mydb1               test                    xtrabackup_checkpoints ibdata1.delta  mysql               xtrabackup_binary       xtrabackup_logfile ibdata1.meta   performance_schema  xtrabackup_binlog_info [iyunv@mariadb ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_checkpoints backup_type = incremental from_lsn = 1645178 #这是第一次增量的"to_lsn"值 to_lsn = 1645463 last_lsn = 1645463 compact = 0

再来做一次数据修改，以便演示根据二进制日志做时间点的恢复：

1 2 3 4 5 6 7 8 9 10

mysql> INSERT INTO mydb1.tb1 (name,age) VALUES ('lucky',40); mysql> SELECT * FROM tb1; +----+-------+------+ | id | name  | age  | +----+-------+------+ |  1 | tom   |   10 | |  2 | jack  |   20 | |  3 | jason |   30 | |  4 | lucky |   40 | +----+-------+------+

6、灾难恢复
6.1、数据破坏

1 2 3

[iyunv@mariadb ~]# service mysqld stop Shutting down MySQL.. SUCCESS! [iyunv@mariadb ~]# rm -rf /mnt/mydata/data/*  #把数据目录数据全部删除

我对于xtrabackup做数据恢复的理解：
xtrabackup做数据恢复与mysqldump这样的逻辑备份工作的恢复有很大的区别，xtrabackup进行数据恢复时需要把各个增量的数据备份与全备份的数据进行合并，对每次增量备份的合并只能将已提交的事务进行重放(redo)，对合备份的数据恢复也只能做redo操作，把各个增量都合并完成后再把没有提交的事务进行回滚(undo)操作，合并完增量备份后，全备份的“xtrabackup_checkpoints”文件中的“last_lsn”应该是最后一次增量备份时的值，这些合并做redo的过程就是恢复数据前的准备工作（prepare）。
而真正在做数据恢复，建议先把全备和增量备份的文件都copy一份为副本，避免操作失误导致备份文件的损坏。

6.2、数据恢复的准备(prepare)工作

1 2 3 4 5 6 7 8 9 10 11 12

[iyunv@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ #准备全备份的数据 [iyunv@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-42-00/ #准备第一次增量数据 [iyunv@mariadb ~]# innobackupex --apply-log --redo-only /backup/fullbackup/2015-04-15_16-30-19/ --incremental-dir=/backup/incremental/2015-04-15_16-49-07/ #准备第二次增量数据 [iyunv@mariadb ~]# cat /backup/fullbackup/2015-04-15_16-30-19/xtrabackup_checkpoints backup_type = full-prepared from_lsn = 0 to_lsn = 1645463 #这是最后一次增量备份的位置，到此数据已全部合并 last_lsn = 1645463 compact = 0

6.3、真正数据恢复

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

[iyunv@mariadb ~]# innobackupex --copy-back /backup/fullbackup/2015-04-15_16-30-19/  #仅一个“--copy-back”选项 [iyunv@mariadb ~]# ls /mnt/mydata/data/ ibdata1  mydb1  mysql  performance_schema  test [iyunv@mariadb ~]# chown -R mysql.mysql /mnt/mydata/data/  #修改恢复数据的属主与属组 [iyunv@mariadb ~]# service mysqld start Starting MySQL.. SUCCESS! mysql> SELECT * FROM mydb1.tb1;  #检查数据 +----+-------+------+ | id | name  | age  | +----+-------+------+ |  1 | tom   |   10 | |  2 | jack  |   20 | |  3 | jason |   30 | +----+-------+------+ #lucky信息还没有恢复

6.4、利用二进制日志文件基于时间点恢复

查看最后一次增量备份时的二进制日志文件及position信息：

1 2 3 4

[iyunv@mariadb ~]# cat /backup/incremental/2015-04-15_16-49-07/xtrabackup_binlog_info mysql-bin.000031    1665 [iyunv@mariadb ~]# mysqlbinlog --start-position=1665 /var/log/mysql_log/mysql-bin.000031 > /tmp/position.sql #用mysqlbinlog工具导出最后一次增量备份后的sql操作

导入数据：

1 2 3 4 5 6 7 8 9 10 11

mysql> source /tmp/position.sql mysql> SELECT * FROM mydb1.tb1; +----+-------+------+ | id | name  | age  | +----+-------+------+ |  1 | tom   |   10 | |  2 | jack  |   20 | |  3 | jason |   30 | |  4 | lucky |   40 | +----+-------+------+ #数据全部恢复

7、总结
利用innobackupex工具可对在有混合存储引擎的场景下对数据库进行全备份，当是备份innodb表时innobackupex脚本内部会
自动调用xtrabackup工具来进行备份操作，在数据还原时应停止mysql实例，清空数据目录，然后先做prepare准备工作，第二步才是真正的数据还原（--copy-back），数据还原到数据目录后不要忘记修改数据目录的权限。
当然innobackupex工具也能实现对单库单表的导出、导出，如果是对Innodb表，那建议直接用xtrabackup工具，这样更直观的使用各个选项进行备份。
有一个疑问：
在做全备份时，innobackupex会去备份非innodb表，在从innobackupex备份时输出结果观察它会“150412 23:17:22  innobackupex: Starting to lock all tables... ”锁定所有的表，不知道这里“锁定所有表”是否包括innodb表？如果会，那xtrabackup就不是真正的热备份工具。