设为首页 收藏本站
查看: 1522|回复: 0

[经验分享] 配置galera+nginx 实现 mariadb、mysql数据库多主模式

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2016-11-18 11:25:38 | 显示全部楼层 |阅读模式
需求 、解决问题点:
    1:现有的mysql数据主从模式,数据同步延迟;

    2:mysql主从进程经常崩溃,数据找平困难;

    3:数据库主从或者主主模式数据查询、写入慢;

    4:mariadb或者mysql数据库 节点性能需要指数级提升;
    5:mariadb或者mysql数据库对数据安全性有较高的要求;
    6:项目要求数据库有横向扩展的能力;
    7 :等等。。。。。。

一、MariaDB Galera Cluster概要:
1.简述:
      MariaDB Galera Cluster 是一套在mysql innodb存储引擎上面实现multi-master及数据实时同步的系统架构,业务层面无需做读写分离工作,数据库读写压力都能按照既定的规则分发到各个节点上去。在数据方面完全兼容 MariaDB 和 MySQL。
2.特性:
      (1).同步复制 Synchronous replication
      (2).Active-active multi-master 拓扑逻辑
      (3).可对集群中任一节点进行数据读写
      (4).自动成员控制,故障节点自动从集群中移除
      (5).自动节点加入
      (6).真正并行的复制,基于行级
      (7).直接客户端连接,原生的 MySQL 接口
      (8).每个节点都包含完整的数据副本
      (9).多台数据库中数据同步由 wsrep 接口实现
3.局限性
      (1).目前的复制仅仅支持InnoDB存储引擎,任何写入其他引擎的表,包括mysql.*表将不会复制,但是DDL语句会被复制的,因此创建用户将会被复制,但是insert into mysql.user…将不会被复制的.
      (2).DELETE操作不支持没有主键的表,没有主键的表在不同的节点顺序将不同,如果执行SELECT…LIMIT… 将出现不同的结果集.
      (3).在多主环境下LOCK/UNLOCK TABLES不支持,以及锁函数GET_LOCK(), RELEASE_LOCK()…
      (4).查询日志不能保存在表中。如果开启查询日志,只能保存到文件中。
      (5).允许最大的事务大小由wsrep_max_ws_rows和wsrep_max_ws_size定义。任何大型操作将被拒绝。如大型的LOAD DATA操作。
      (6).由于集群是乐观的并发控制,事务commit可能在该阶段中止。如果有两个事务向在集群中不同的节点向同一行写入并提交,失败的节点将中止。对 于集群级别的中止,集群返回死锁错误代码(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).
      (7).XA事务不支持,由于在提交上可能回滚。
      (8).整个集群的写入吞吐量是由最弱的节点限制,如果有一个节点变得缓慢,那么整个集群将是缓慢的。为了稳定的高性能要求,所有的节点应使用统一的硬件。
      (9).集群节点建议最少3个。
      (10).如果DDL语句有问题将破坏集群。


二:安装、配置

1:安装系统、内核版本
[iyunv@galeradbnode-6-11 ~]#
more /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)

[iyunv@galeradbnode-6-11 ~]#
uname -a
Linux galeradbnode-6-11 3.10.0-327.18.2.el7.x86_64 #1 SMP Thu May 12 11:03:55 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux


mysqld 10.1.14-MariaDB

2:节点信息如下:
安装集群至少需要3个节点
galeradbnode-6-11
galeradbnode-6-12
galeradbnode-6-13


3:各节点配置yum源:
cat >/etc/yum.repos.d/mariadb.repo<<-EOF
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.1/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1
EOF

安装注意事项:
清理
/usr/bin/mysql*
/usr/sbin/mysql*



# 确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口
iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPT
iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPT



简单配置:

galeradbnode-6-12:172.16.6.12

安装mariadb:
yum -y install mariadb-server

##########如果需要修改数据目录执行下面操作#############
修改启动文件中数据存储目录
#vim /etc/init.d/mysql
basedir=/usr
datadir=/data/3306/data

创建数据目录
mkdir -p /data/3306/data
mkdir -p  /var/lib/mysql/
修改权限
chown -R mysql.mysql /data/3306/data
chown -R mysql.mysql  /var/lib/mysql/

#旧环境需要先删除旧文件
rm -rf /var/lib/mysql/*

#初始化mysql 服务
mysql_install_db --user=mysql

默认安装不用此选项
--datadir=/data/3306/data/

##############################################



安全配置、创建root密码,删除test库等:
mysql_secure_installation

创建集群连接账户密码
MariaDB [(none)]> grant all on *.* to dbclusteruser@'172.16.6.%' identified by 'galerapassword';

关闭数据库:
/etc/init.d/mysql stop mysql


修改配置文件

############################以下为配置文件####################################


[iyunv@galeradbnode-6-12 ~]# more /etc/my.cnf.d/server.cnf
#
[client]
user            = root
password        = dbpassword
port            = 13306

# These groups are read by MariaDB server.
# Use it for options that only the server (but not clients) should see
#
# See the examples of server my.cnf files in /usr/share/mysql/
#

# this is read by the standalone daemon and embedded servers
[server]

# this is only for the mysqld standalone daemon
[mysqld]
user    = mysql
port    = 13306


#
# * Galera-related settings
#
[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://172.16.6.12,172.16.6.13"
wsrep_cluster_name=PTDBCluster
wsrep_node_name = galeradbnode-6-12
wsrep_node_address=172.16.6.12
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
wsrep_slave_threads=10
innodb_flush_log_at_trx_commit=2
innodb_buffer_pool_size=122M
wsrep_sst_method=rsync
wsrep_sst_auth  = dbclusteruser:galerapassword
[embedded]

# This group is only read by MariaDB servers, not by MySQL.
# If you use the same .cnf file for MySQL and MariaDB,
# you can put MariaDB-only options here
[mariadb]

# This group is only read by MariaDB-10.1 servers.
# If you use the same .cnf file for MariaDB of different versions,
# use this group for options that older servers don't understand
[mariadb-10.1]



############################以上为配置文件####################################

启动节点1,初始化集群:galeradbnode-6-12
/etc/init.d/mysql start --wsrep-new-cluster


验证集群数量
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 1     |
+--------------------+-------+
1 row in set (0.00 sec)



其它节点安装部署
1:初始化mariadb 数据库;
2:copy galeradbnode-6-12 配置文件;

[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://172.16.6.12,172.16.6.13"
wsrep_cluster_name=PTDBCluster
wsrep_node_name = galeradbnode-6-12         《==修改为本机主机名
wsrep_node_address=172.16.6.12                《==修改为本机IP地址
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
wsrep_slave_threads=10
innodb_flush_log_at_trx_commit=2
innodb_buffer_pool_size=122M
wsrep_sst_method=rsync
wsrep_sst_auth  = dbclusteruser:ptmind890iop

3:启动数据库
#/etc/init.d/mysql start


4:验证集群数量,每加入一台机器,cluster 数量增加1个;
MariaDB [(none)]> SHOW STATUS LIKE 'wsrep_cluster_size';
+--------------------+-------+
| Variable_name      | Value |
+--------------------+-------+
| wsrep_cluster_size | 2     |
+--------------------+-------+

查询集群详细配置信息命令如下:
MariaDB [(none)]> show status like 'wsrep_%';
+------------------------------+--------------------------------------+
| Variable_name                | Value                                |
+------------------------------+--------------------------------------+
| wsrep_apply_oooe             | 0.000000                             |
| wsrep_apply_oool             | 0.000000                             |
| wsrep_apply_window           | 0.000000                             |
| wsrep_causal_reads           | 0                                    |
| wsrep_cert_deps_distance     | 0.000000                             |
| wsrep_cert_index_size        | 0                                    |
| wsrep_cert_interval          | 0.000000                             |
| wsrep_cluster_conf_id        | 2                                    |
| wsrep_cluster_size           | 2                                    |
| wsrep_cluster_state_uuid     | 32725a2c-1be7-11e6-b6f0-87e13f10c1dd |
| wsrep_cluster_status         | Primary                              |
| wsrep_commit_oooe            | 0.000000                             |
| wsrep_commit_oool            | 0.000000                             |
| wsrep_commit_window          | 0.000000                             |
| wsrep_connected              | ON                                   |
| wsrep_evs_delayed            |                                      |
| wsrep_evs_evict_list         |                                      |
| wsrep_evs_repl_latency       | 0/0/0/0/0                            |
| wsrep_evs_state              | OPERATIONAL                          |
| wsrep_flow_control_paused    | 0.000000                             |
| wsrep_flow_control_paused_ns | 0                                    |
| wsrep_flow_control_recv      | 0                                    |
| wsrep_flow_control_sent      | 0                                    |
| wsrep_gcomm_uuid             | a38ee701-1be9-11e6-a73b-3357c886f499 |
| wsrep_incoming_addresses     | 172.16.6.22:3306,172.16.6.21:3306    |
| wsrep_last_committed         | 4                                    |
| wsrep_local_bf_aborts        | 0                                    |
| wsrep_local_cached_downto    | 18446744073709551615                 |
| wsrep_local_cert_failures    | 0                                    |
| wsrep_local_commits          | 0                                    |
| wsrep_local_index            | 1                                    |
| wsrep_local_recv_queue       | 0                                    |
| wsrep_local_recv_queue_avg   | 0.000000                             |
| wsrep_local_recv_queue_max   | 1                                    |
| wsrep_local_recv_queue_min   | 0                                    |
| wsrep_local_replays          | 0                                    |
| wsrep_local_send_queue       | 0                                    |
| wsrep_local_send_queue_avg   | 0.000000                             |
| wsrep_local_send_queue_max   | 1                                    |
| wsrep_local_send_queue_min   | 0                                    |
| wsrep_local_state            | 4                                    |
| wsrep_local_state_comment    | Synced                               |
| wsrep_local_state_uuid       | 32725a2c-1be7-11e6-b6f0-87e13f10c1dd |
| wsrep_protocol_version       | 7                                    |
| wsrep_provider_name          | Galera                               |
| wsrep_provider_vendor        | Codership Oy <info@codership.com>    |
| wsrep_provider_version       | 25.3.15(r3578)                       |
| wsrep_ready                  | ON                                   |
| wsrep_received               | 6                                    |
| wsrep_received_bytes         | 415                                  |
| wsrep_repl_data_bytes        | 0                                    |
| wsrep_repl_keys              | 0                                    |
| wsrep_repl_keys_bytes        | 0                                    |
| wsrep_repl_other_bytes       | 0                                    |
| wsrep_replicated             | 0                                    |
| wsrep_replicated_bytes       | 0                                    |
| wsrep_thread_count           | 5                                    |
+------------------------------+--------------------------------------+

wsrep_connected = on 链接已开启
wsrep_cluster_size =3 集群中节点的数量
wsrep_incoming_addresses = 172.16.6.12:13306,172.16.6.13:13306 集群中节点的访问地址

监控状态参数说明:
        集群完整性检查:
            wsrep_cluster_state_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.
            wsrep_cluster_conf_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时"分区"了.当节点之间网络连接恢复的时候应该会恢复一样的值.
            wsrep_cluster_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.
            wsrep_cluster_status:集群组成的状态.如果不为"Primary",说明出现"分区"或是"split-brain"状况.
        节点状态检查:
            wsrep_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep_connected.
            wsrep_connected: 如果该值为Off,且wsrep_ready的值也为Off,则说明该节点没有连接到集群.(可能是wsrep_cluster_address或wsrep_cluster_name等配置错造成的.具体错误需要查看错误日志)
            wsrep_local_state_comment:如果wsrep_connected为On,但wsrep_ready为OFF,则可以从该项查看原因.
        复制健康检查:
            wsrep_flow_control_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep_slave_threads的值来改善.
            wsrep_cert_deps_distance:有多少事务可以并行应用处理.wsrep_slave_threads设置的值不应该高出该值太多.
            wsrep_flow_control_sent:表示该节点已经停止复制了多少次.
            wsrep_local_recv_queue_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.

        最慢的节点的wsrep_flow_control_sent和wsrep_local_recv_queue_avg这两个值最高.这两个值较低的话,相对更好.
        检测慢网络问题:
            wsrep_local_send_queue_avg:网络瓶颈的预兆.如果这个值比较高的话,可能存在网络瓶
        冲突或死锁的数目:
            wsrep_last_committed:最后提交的事务数目
            wsrep_local_cert_failures和wsrep_local_bf_aborts:回滚,检测到的冲突数目

MySQL Galera监控

查看MySQL版本:   mysql>
SHOW GLOBAL VARIABLES LIKE 'version';

查看wsrep版本: mysql>
SHOW GLOBAL STATUS LIKE 'wsrep_provider_version';

查看wsrep有关的所有变量: mysql>
HOW VARIABLES LIKE 'wsrep%' \G

查看Galera集群状态: mysql>
show status like 'wsrep%';



其他相关
1.Galera Cluster部署的前置检查
在要转成Galera Cluster的数据库上执行如下SQL语句:
SELECT DISTINCT
       CONCAT(t.table_schema,'.',t.table_name) as tbl,
       t.engine,
       IF(ISNULL(c.constraint_name),'NOPK','') AS nopk,
       IF(s.index_type = 'FULLTEXT','FULLTEXT','') as ftidx,
       IF(s.index_type = 'SPATIAL','SPATIAL','') as gisidx
  FROM information_schema.tables AS t
  LEFT JOIN information_schema.key_column_usage AS c
    ON (t.table_schema = c.constraint_schema AND t.table_name = c.table_name
        AND c.constraint_name = 'PRIMARY')
  LEFT JOIN information_schema.statistics AS s
    ON (t.table_schema = s.table_schema AND t.table_name = s.table_name
        AND s.index_type IN ('FULLTEXT','SPATIAL'))
  WHERE t.table_schema NOT IN ('information_schema','performance_schema','mysql')
    AND t.table_type = 'BASE TABLE'
    AND (t.engine <> 'InnoDB' OR c.constraint_name IS NULL OR s.index_type IN ('FULLTEXT','SPATIAL'))
  ORDER BY t.table_schema,t.table_name;

上述SQL检索数据库,输出不符合使用Galera的表的信息,对应的5个字段顺序为:表,表引擎,是否无主键,是否有全文索引,是否有空间索引。
找到不符合的原因,对应修改即可。



配置高可用转发,集群升级到mmmnnn 模式

nginx配置如下:

upstream galera {
      hash $remote_addr consistent;            
      server 172.16.6.11:13306;          #galera集群节点服务器
      server 172.16.6.12:13306;
      server 172.16.6.13:13306;
  }
server {
    listen 23306;                 #nginx 监听端口
    proxy_pass galera;
}


登陆数据库:
mysql -h nginx转发服务器IP  -u dbuser -pdbpassword-P23306



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-302093-1-1.html 上篇帖子: 利用nginx 日志处理ddos攻击 下篇帖子: 实战安装 nginx+keepalvied 实现负载均衡和高可用 数据库 mysql
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表