使用xtrabackup对MySQL进行备份和恢复

86565656

　　Xtrabackup 是percona公司的开源项目，用以实现类似innodb官方的热备份工具InnoDB Hot Backup的功能，能够非常快速地备份与恢复MySQL数据库。 Xtrabackup中包含两个工具：
　　xtrabackup是用于热备份innodb, xtradb表中数据的工具，不能备份其他类型的表，也不能备份数据表结构；
　　innobackupex是将xtrabackup进行封装的perl脚本，提供了备份myisam表的能力。
　　由于innobackupex的功能更为全面和完善，所以，本文以innobackupex作为基础进行研究描述。
下载和安装
　　在以下地址可以下载到xtrabackup：http://www.percona.com/downloads/XtraBackup/，可以根据自己的需要选择稳定版本或者最新版本以及操作系统、源码包或者rpm包等等。
　　我下载到的是xtrabackup-1.6.tar，是一个二进制压缩包，解压后可直接使用。
　　将下载到的文件包进行解压 tar zxvf xtrabackup-1.6.tar，然后在/usr/bin中建立相关应用的链接：
　　[plain] view plain copy

• 　　ln -s /usr/bin/innobackupex /root/xtrabackup-1.6/bin/innobackupex
  
• 
  
• 　　ln -s /usr/bin/xtrabackup /root/xtrabackup-1.6/bin/xtrabackup
  
• 
  
• 　　ln -s /usr/bin/xtrabackup_51 /root/xtrabackup-1.6/bin/xtrabackup_51
  
• 
  
• 　　ln -s /usr/bin/tar4ibd /root/xtrabackup-1.6/bin/tar4ibd
  

　　其中，
　　innobackupex是我们要使用的备份工具；
　　xtrabackup是被封装在innobackupex之中的，innobackupex运行时需要调用它；
　　xtrabackup_51是xtrabackup运行时需要调用的工具；
　　tar4ibd是以tar流的形式产生备份时用来打包的工具。
进行备份
　　完整备份：
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test /mysqlbackup/
  

　　其中，--user指定连接数据库的用户名，--password指定连接数据库的密码，--defaults-file指定数据库的配置文件，innobackupex要从其中获取datadir等信息；--database指定要备份的数据库，这里指定的数据库只对MyISAM表和InnoDB表的表结构有效，对于InnoDB 数据来说都是全备（所有数据库中的InnoDB数据都进行了备份，不是只备份指定的数据库，恢复时也一样）；/mysqlbackup是备份文件的存放位置。
　　完整备份并打包：
　　[plain]ain

• 　　innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test --stream=tar /mysqlbackup > /mysqlbackup/dbbackup20110809.tar
  

　　其中，--stream指定流的格式，目前只支持tar。
　　完整备份并打包压缩：
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test --stream=tar /mysqlbackup/ | gzip /mysqlbackup/dbbackup20110809.tar.gz
  

　　完整备份到远程主机：
　　[plain] view plain copy

• 　　innobackupex --user=root --password= MySQLPASSWORD --defaults-file=/etc/my.cnf --database=test --stream=tar /mysqlbackup | ssh root@remote-host cat ">"   /mysqlbackup/dbbackup20110809.tar
  

　　增量备份：
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --database=test --incremental --incremental-basedir=/mysqlbackup/2011-08-09_14-50-20/ /mysqlbackup/trn/
  

　　其中，--incremental指明是增量备份，--incremental-basedir指定上次完整备份或者增量备份文件的位置。这里的增量备份其实只针对的是InnoDB，对于MyISAM来说，还是完整备份。
进行恢复
　　完整备份恢复：
　　在进行恢复前，如果完整备份在远程主机上，首先将完整备份复制到本地主机上，如果是tar包，则需要先解包，解包命令为：tar –izxvf dbbackup20110809.tar，这里必须使用-i参数。然后停止mysql数据库并删除欲恢复的数据库文件夹，如：
　　[plain] view plain copy

• 　　service mysql stop
  
• 
  
• 　　rm /var/lib/mysql/test –rf
  

　　然后将备份文件中的日志应用到备份文件中的数据文件上
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --apply-log /mysqlbackup/full/2011-08-09_14-50-20/
  

　　这里的--apply-log指明是将日志应用到数据文件上，完成之后将备份文件中的数据恢复到数据库中：
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --copy-back /mysqlbackup/full/2011-08-09_14-50-20/
  

　　这里的—copy-back指明是进行数据恢复。数据恢复完成之后，需要修改相关文件的权限mysql数据库才能正常启动。
　　[plain] view plain copy

• 　　chown mysql:mysql /var/lib/mysql/ib*
  
• 
  
• 　　chown mysql:mysql /var/lib/mysql/test
  
• 
  
• 　　service mysql start
  

　　注意：这里我虽然指定的是test数据库，但实际上如果其他数据库中也有InnoDB表，那么这些InnoDB表中的数据也会被恢复了。
　　增量备份恢复：
　　增量备份恢复的步骤和完整备份恢复的步骤基本一致，只是应用日志的过程稍有不同。增量备份恢复时，是先将所有的增量备份挨个应用到完整备份的数据文件中，然后再将完整备份中的数据恢复到数据库中。命令如下：
　　应用第一个增量备份
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --apply-log /mysqlbackup/full/2011-08-09_14-50-20/ --incremental-dir=/mysqlbackup/trn/2011-08-09_15-12-43/
  

　　应用第二个增量备份
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --apply-log /mysqlbackup/full/2011-08-09_14-50-20/ --incremental-dir=/mysqlbackup/trn/2011-08-05_15-15-47/
  

　　将完整备份中的数据恢复到数据库中
　　[plain] view plain copy

• 　　innobackupex --user=root --password=MySQLPASSWORD --defaults-file=/etc/my.cnf --copy-back /mysqlbackup/full/2011-08-05_14-50-20/
  

　　其中，--incremental-dir指定要恢复的增量备份的位置
相关原理
　　完整备份的原理：
　　对于InnoDB，XtraBackup基于InnoDB的crash-recovery功能进行备份。
　　crash-recovery是这样的：InnoDB维护了一个redo log，又称为 transaction log，也叫事务日志，它包含了InnoDB数据的所有改动情况。InnoDB启动的时候先去检查datafile和transaction log，然后应用所有已提交的事务并回滚所有未提交的事务。
　　XtraBackup在备份的时候并不锁定表，而是一页一页地复制InnoDB的数据，与此同时，XtraBackup还有另外一个线程监视着transactions log，一旦log发生变化，就把变化过的log pages复制走(因为transactions log文件大小有限，写满之后，就会从头再开始写，新数据可能会覆盖到旧的数据，所以一旦变化就要立刻复制走）。在全部数据文件复制完成之后，停止复制logfile。
　　XtraBackup采用了其内置的InnoDB库以read-write模式打开InnoDB的数据文件，然后每次读写1MB(1MB/16KB=64page)的数据，一页一页地遍历，同时用InnoDB的buf_page_is_corrupted()函数检查此页的数据是否正常，如果正常则进行复制，如不正常则重新读取，最多重读10次，如果还是失败，则备份失败退出。复制transactions log的原理也是一样的，只不过每次读写512KB(512KB/16KB=32page)的数据。
　　由于XtraBackup其内置的InnoDB库打开文件的时候是rw的，所以运行XtraBackup的用户，必须对InnoDB的数据文件具有读写权限。
　　由于XtraBackup要从文件系统中复制大量的数据，所以它尽可能地使用posix_fadvise()，来告诉OS不要缓存读取到的数据(因为这些数据不会重用到了)，从而提升性能。如果要缓存的话，大量的数据会对OS的虚拟内存造成很大的压力，其它进程（如mysqld）很有可能会被swap出去，这样就出问题了。同时，XtraBackup在读取数据的时候还尽可能地预读。
　　由于不锁表，所以复制出来的数据是不一致的，数据的一致性是在恢复的时候使用crash-recovery进行实现的。
　　对于MyISAM,XtraBackup还是首先锁定所有的表，然后复制所有文件。
　　增量备份的原理：
　　在完整备份和增量备份文件中都有一个文件xtrabackup_checkpoints会记录备份完成时检查点的LSN。在进行新的增量备份时，XtraBackup会比较表空间中每页的LSN是否大于上次备份完成的LSN，如果是，则备份该页，并记录当前检查点的LSN。
其他
　　目前XtraBackup的最新版本是1.6.2，但是我下载了1.6.2的rpm包xtrabackup-1.6.2-274.rhel5.i386，在CentOS5.5上安装后，发现在恢复时有点问题。
　　不指定数据库的配置文件时(数据库的配置文件为默认的/etc/my.cnf)，执行命令
　　[plain] view plain copy

• 　　innobackupex --copy-back /mysqlbackup/full/2011-08-09_14-09-43/
  

　　会报错：
　　[html] view plain copy

• 　　InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy
  
• 
  
• 　　and Percona Inc 2009-2011.  All Rights Reserved.
  
• 
  
• 
  
• 
  
• 　　This software is published under
  
• 
  
• 　　the GNU GENERAL PUBLIC LICENSE Version 2, June 1991.
  
• 
  
• 
  
• 
  
• 　　IMPORTANT: Please check that the copy-back run completes successfully.
  
• 
  
• 　　At the end of a successful copy-back run innobackupex
  
• 
  
• 　　prints "completed OK!".
  
• 
  
• 
  
• 
  
• 　　Can't exec "autodetect": No such file or directory at /usr/bin/innobackupex line 1972.
  
• 
  
• 　　innobackupex: fatal error: no 'mysqld' group in MySQL options
  
• 
  
• 　　innobackupex: fatal error: OR no 'datadir' option in group 'mysqld' in MySQL options
  

　　指定数据库的配置文件时，执行命令
　　[plain] view plain copy

• 　　innobackupex --defaults-file=/etc/my.cnf --copy-back /mysqlbackup/full/2011-08-09_14-09-43/
  

　　会报错：
　　[plain] view plain copy

• 　　InnoDB Backup Utility v1.5.1-xtrabackup; Copyright 2003, 2009 Innobase Oy
  
• 
  
• 　　and Percona Inc 2009-2011.  All Rights Reserved.
  
• 
  
• 
  
• 
  
• 　　This software is published under
  
• 
  
• 　　the GNU GENERAL PUBLIC LICENSE Version 2, June 1991.
  
• 
  
• 
  
• 
  
• 　　IMPORTANT: Please check that the copy-back run completes successfully.
  
• 
  
• 　　At the end of a successful copy-back run innobackupex
  
• 
  
• 　　prints "completed OK!".
  
• 
  
• 
  
• 
  
• 　　sh: autodetect: command not found
  
• 
  
• 　　innobackupex: fatal error: no 'mysqld' group in MySQL options
  
• 
  
• 　　innobackupex: fatal error: OR no 'datadir' option in group 'mysqld' in MySQL options
  

　　本文出自http://blog.csdn.net/yongsheng0550/article/details/6682162