百万级mysql从库搭建

njsuntop

背景：
　　

1.当前mysql：Ucloud高可用数据库实例，所属区域在北京。　　

　　2.异地容灾需求、跨平台同步、后期的异地双活需求。
　　

　　3.新建从库：阿里云华南自建mysql。
　　

考察：
　　    1.Ucloud数据库实例基于mysql原版进行了二次开发，在结构上有些调整，在为每个实例搭配一个phpadmin进行管理，算是比较简单。高可用实例主库已做双主热备。Mysql5.7后支持一从多主。
　　    2.Aliyun数据库实例也进行过调整，修改比较多，对mysql库管控比较严以配合控制台的数据库管理。
　　    3.Aliyun数据库管理提供DTS工具，用于迁移数据，功能比较强大：迁移粒度、持续数据迁移（间接达到数据同步）、适合环境多。不适用当前需求原因：DTS迁移自建数据库需要公网访问源实例，太不安全。
　　    4.跨平台异地双活目前来看只能通过自建实现，业务架构还要大幅度调整。先实现跨平台异地备份吧。
　　    5.Mysl同步的数据包默认是明文传输，支持ssl验证，但在云平台上似乎不好实现（内网访问），先通过使用安全组控制访问解决安全问题，后期建立***，包传输走隧道改进。

情景汇总：
　　

Mysql主(10.10.123.231)：ucloud北京机房、高可用实例、内网访问、版本为5.6.20-ucloudrel1-log　　
Mysql从(172.17.3.42)：aliyun华南自建
　　

步骤：
　　   1.准备工作：
　　    aliyun平台新建ECS实例；根据源mysql版本安装相近版本，选择的mysql5.6.38，下载rpm包后，使用yum安装；初始化数据库，修改配置文件，并启动。
　　    考虑到后期会使用DTS，按建议添加配置；mysql5.6后添加了GTID作用于同步，主从配置要一致：
　　

server_id=23　　
gtid_mode=on
　　
enforce_gtid_consistency=on
　　
log_bin=mysql_bin
　　
binlog_format=row
　　
binlog_row_image=full
　　
log-bin-trust-function-creators=1
　　

　　2.数据导入：从ucloud控制台找到源mysql的最新备份，下载并导入到自建的mysql中。
　　   下载备份遇到问题：浏览器能正常下载，在linux下使用wget下载报403

　　    解决办法：对下载地址用引号引入。
　　   备份压缩包接近40G，使用source导入耗时超过一天。
　　3.搭建端口转发（类似于mysql代理服务器）
　　   选择一台与源mysql同内网的centos 7 (内网IP：10.10.123.233，外网IP：123.123.123.123)，配置iptables转发3306端口的流量，实现新建的mysql实例访问到主库。
　　

# echo 1 > /proc/sys/net/ipv4/ip_forward　　
# iptables -t nat -A PREROUTING -d 10.10.123.233 -p tcp --dport 3306 -j DNAT --to-destination 10.10.123.231:3306
　　
# iptables -t nat -A POSTROUTING -d 10.10.123.231 -p tcp --dport 3306 -j SNAT --to-source 10.10.123.233
　　

　　  并在新建从库中测试好连通性。
　　4.主从配置
　　

主要命令：
　　
> GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%'>　　
> change master to \
　　
master_host=”123.123.123.123”,\
　　
master_port=3306,\
　　
master_user=’slave’,\
　　
master_password=’123456’,\
　　
master_log_file=’mysql-bin.000383’,\
　　
master_log_pos=’888039274’;     //配置主库信息
　　
> start slave;
　　
> show slave status\G;
　　

　　    获取同步的binlog文件和位置：下载的备份文件中有，在文件前100行可以找到（推断ucloud备份是用mysqldump命令配合--single-transaction --master-data=2参数）。

遇到的问题及解决
　　  1.查看主从同步，报错：无法从master获取日志

　　   Last_IO_Error:>　　   原因：配置主从同步的binlog位置异常，需要重新指定。
　　

> show master status;　　
> show master logs;     //查看可用的binlog文件
　　
> show binlog events in 'mysql-bin.000383' from 888039274 limit 2;      //指定开始位置和显示数量
　　

　　  果然是个比较特殊的位置，直接在mysql下查不到。还好还可以使用mysqlbinlog工具查看。
　　  下载binlog，解压得到mysql-bin.000383文件
　　

# mysqlbinlog  --start-position=888039200 --stop-position=888039300 mysql-bin.000383 //用大概的位置查找，报错　　

　　  只能全部导出，在定位了：
　　

# mysqlbinlog  mysql-bin.000383 > 383bin.log　　

　　  查找到的范围为：

　　  重新配置position位置，并重启slave进程即可。
　　  2.查看主从同步状态，报错：重复键问题，可能是刚刚调整了log_position导致的

　　考虑到先只做备份，将类似错误忽略即可。
　　    解决办法：在mysqld配置文件中添加 slave-skip-errors = 1062，并重启mysql服务即可。