拷贝ibd实现MySQL的数据导入

4324234

实验环境:

  阿里云主机（双核4G，普通云盘，2个节点都是yum安装的mysql-community-server5.6  ）
  db1.table1的大小（ibd文件大小 1.2GB 备份出的sql文件大小为750MB）

test1节点上:

1 2 3 4 5 6 7

> use db1; > FLUSH TABLE table1 FOR EXPORT; # cd /var/lib/mysql/db1 # scp table1.ibd table1.cfg root@test2:/root/   # 因为是内网传输，因此这步花费不到1分钟的时间 > UNLOCK tables;

test2节点上：

1 2 3 4 5 6 7 8 9 10

> use db1; > truncate table table1; > alter table table1 discard tablespace; # cp /root/table1.* /var/lib/mysql/db1/ # chown mysql.mysql /var/lib/mysql/db1/ -R > alter table table1 import tablespace;   # 这一步花费了45s > select count(*) from table1;   可以看到数据全部导入了

上面的这种方法导数据全部过程花费了3分钟吧。
而同样的数据，测试使用sql文件导入的花费的时间：  10分钟。  二者高下立判。



附后来写的一个传输并导入远程主机的脚本：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42

#!/bin/bash # Description: 简单粗暴的将表空间文件传输到其他节点,并实现导入操作,线上使用出问题后果自行承担 # Date: 2017/01/08 # Author: Lee LOG="/tmp/trans.log" LOCAL_USER='root' LOCAL_PASS='123456' DATADIR="/var/lib/mysql/" MYSQL='/usr/bin/mysql' # step1 传输*.ibd *.cfg文件到其他节点 # 参数说明： # $1 数据库名称 # $2 表名称 # $3 目标主机的地址 if [ $# -eq 3 ]; then   $MYSQL -u$LOCAL_USER -p$LOCAL_PASS -e "use $1; FLUSH TABLE $2 FOR EXPORT; system scp $DATADIR$1/$2.ibd $3:/root; system scp $DATADIR$1/$2.cfg $3:/root; UNLOCK TABLES;" > /dev/null 2>&1 else   echo -e "\n\033[31mUsage: sh $0 数据库名 表名 远程主机IP\033[0m\n" && exit 1 fi if [ $? -eq 0 ]; then   echo -e "\033[32m 传输到远程主机成功  $(date +"%F %T") \033[0m" | tee -a $LOG else   echo -e "\033[32m 传输到远程主机失败  $(date +"%F %T") \033[0m" | tee -a $LOG && exit 10 fi # step2 ssh 连接到远程节点，将拷贝的数据导入数据库 REMOTE_USER="root" REMOTE_PASS="123456" MYSQL='/usr/bin/mysql' ssh root@$3 "$MYSQL -u$REMOTE_USER -p$REMOTE_PASS -e 'truncate table $1.$2; alter table $1.$2 discard tablespace;system cp /root/$2.* /var/lib/mysql/$1/;system chown mysql.mysql -R /var/lib/mysql;alter table $1.$2 import tablespace;'" > /dev/null 2>&1 if [ $? -eq 0 ]; then   echo -e "\033[32m 导入到远程主机成功  $(date +"%F %T") \033[0m" | tee -a $LOG else   echo -e "\033[32m 导入到远程主机失败  $(date +"%F %T") \033[0m" | tee -a $LOG fi