设为首页 收藏本站
查看: 209|回复: 0

[经验分享] MySQL Cluster部署文档

[复制链接]
累计签到:1 天
连续签到:1 天
发表于 2016-9-19 09:10:15 | 显示全部楼层 |阅读模式
  • 基本概念:
  • NDB介绍

NDB” 是一种“内存中”的存储引擎,也是事务型存储引擎,具备ACID属性。

  • 数据节点(Data Nodes)

用于存储集群的数据。实现底层数据存储的功能,保存Cluster 的数据。每一个NDB 节点保存完整数据的一部分(或者一份完整的数据,视节点数目和配置而定),在MySQL Cluster 里面叫做一个fragment。而每一个fragment,正常情况来讲都会在其他的主机上面有一份(或者多分)完全相同的镜像存在。这些都是通过配置来完成的,所以只要配置得当,MySQL Cluster 在存储层不会出现单点的问题。数据节点是用命令ndbd启动的。

  • SQL节点(SQL Nodes)

向外提供一个标准的SQL语言编程接口。SQL节点负责向数据节点传送访问请求,具体集群过程以及数据库底层均对外透明。

SQL节点提供用户SQL指令请求,解析、连接管理,query优化和响、cache管理等、数据merge、sort,裁剪等功能,当SQL节点启动时,将向管理节点同步架构信息,用以数据查询路由。SQL节点作为查询入口,需要消耗大量cpu及内存资源,可使用分布式管理节点,并在SQL节点外封装一层请求分发及HA控制机制可解决单点及性能问题,其提供了线性扩展功能。SQL节点是使用命令mysqld -ndbcluster启动的,或将ndbcluster添加到“my.cnf”后使用“mysqld”启动。

  • 管理节点(NDB Management Server)

负责整个Cluster 集群中各个节点的管理工作,包括集群的配置,启动关闭各节点,以及实施数据的备份恢复等。管理节点会获取整个Cluster 环境中各节点的状态和错误信息,并且将各Cluster 集群中各个节点的信息反馈给整个集群中其他的所有节点。通常只需配置一个管理节点;然而为了排除单点故障需要,有可能的话,尽量增加管理节点的数量。MGM节点是用命令ndb_mgm启动的。

  • 集群配置概述

环境:

操作系统:centos 6.5 x86_64

软件:mysql-cluster-gpl-7.1.34-linux-x86_64-glibc23.tar.gz 具体版本可以去官网下载

管理节点:ip:192.168.100.20

sql节点-数据节点:ip:192.168.100.20

sql节点-数据节点:ip:192.168.100.30

安装mysql cluster和mysql基本一样只是配置文件和启动方式有所改变,所以基础还是mysql安装:

  • Mysql安装
  • 新建mysql用户

useradd -s /sbin/nologin  -M mysql

  • 创建mysql数据目录

[iyunv@rs2 mysql]# mkdir -p /data/data

[iyunv@rs2 mysql]# chown -R mysql:mysql /data/mysql

  • 初始化mysql

[iyunv@rs2 mysql]# ./scripts/mysql_install_db --user=mysql --datadir=/data/msyql  #user指定mysql用户  datadir 数据存放目录

  • 拷贝启动配置文件和启动脚本

cp support-files/my-small.cnf /etc/my.cnf

cp support-files/mysql.server /etc/init.d/mysqld

  • 管理节点安装配置
  • 解压并复制

cp -r mysql-cluster-gpl-7.1.34-linux-x86_64-glibc23 /usr/local/mysql-cluster

chown -R mysql:mysql mysql-cluster/

  • 拷贝配置文件

cd mysql-cluster/support-files/

cp ndb-config-2-node.ini /etc/ndb-config.ini

配置文件内容:

[ndbd default]   #为所有的节点指定默认配置

NoOfReplicas= 1    #定义在Cluster环境中复制份数

MaxNoOfConcurrentOperations= 10000

DataMemory= 80M    #分配的数据内存大小,根据本机服务器内存适量来分配,实际运用中需要分配很大

IndexMemory= 24M  #设定用于存放索引(非主键)数据的内存段大小

TimeBetweenWatchDogCheck= 30000

DataDir= /usr/local/mysql-cluster/cluster-data  ##用于存放集群日志信息

MaxNoOfOrderedIndexes= 512

[ndb_mgmd default]    #管理节点的共用配置项:

DataDir= /usr/local/mysql-cluster/cluster-logs

[ndb_mgmd]

Id=1

HostName= 192.168.100.20

[ndbd]    #指定数据节点的配置,每个数据节点对应一个ndbd配置

Id= 2

HostName= 192.168.100.20    #管理服务器ip

datadir = /data/test

[ndbd]

Id= 3

HostName= 192.168.100.30

datadir = /data/test

[mysqld]     #指定SQL节点的配置,每个SQL节点对应一个配mysqld置

Id= 4

HostName= 192.168.100.20

[mysqld]

Id= 5

HostName= 192.168.100.30

[mysqld]

[mysqld]

[mysqld]

注:配置文件最好保留几个空的sql节点([mysqld])

  • 启动管理服务

进入bin目录下

/usr/local/mysql-cluster/bin/ndb_mgmd --initial -f /etc/ndb-config.ini

注:管理节点实际只需要一个配置文件和bin目录下的ndb_mgmd、ndb_mgm等文件,其他并不需要

  • 查看启动端口

[iyunv@master bin]# netstat -taunlp |grep mgm

tcp        0      0 0.0.0.0:1186                0.0.0.0:*                   LISTEN      51274/./ndb_mgmd

tcp        0      0 127.0.0.1:38052             127.0.0.1:1186              ESTABLISHED 51274/./ndb_mgmd

tcp        0      0 127.0.0.1:1186              127.0.0.1:38052             ESTABLISHED 51274/./ndb_mgmd

  • 数据节点和sql节点

数据节点安装

此处就和mysql安装一样,只是配置文件/etc/my.cnf要修改。而且只需要安装一个mysql即可,就可以完成数据节点的安装和sql节点的安装,只是启动方式不一样。

  • 解压并复制

[iyunv@master src]# cp -r mysql-cluster-gpl-7.1.34-linux-x86_64-glibc23 /usr/local/mysql-data

[iyunv@master data]# mkdir test

[iyunv@master data]# chown -R mysql.mysql test

  • 初始化数据库

[iyunv@master mysql-data]# ./scripts/mysql_install_db --user=mysql --datadir=/data/test

  • 修改ndbd配置文件/etc/my.cnf  

注:此配置文件也是sql节点配置文件

[mysqld]

ndbcluster

ndb-connectstring=192.168.100.20

[mysql_cluster]

ndb-connectstring=192.168.100.20

  • 启动数据节点数据库ndbd服务

[iyunv@master mysql-data]# /usr/local/mysql-data/bin/ndbd --initial

首次启动要使用--initial

[iyunv@master mysql-data]# ./bin/ndbd --initial

2016-01-02 00:11:26 [ndbd] INFO     -- Angel connected to '192.168.100.20:1186'

2016-01-02 00:11:26 [ndbd] INFO     -- Angel allocated nodeid: 2

  • 启动sql节点

[iyunv@master mysql-cluster]# /usr/local/mysql-data/bin/mysqld_safe --user=mysql &

或service mysqld start

注:从启动方式可以看出作为sql节点启动时就是一般的mysql服务,可以有启动脚本加入开机启动

对于管理节点、数据节点启动命令可以写入/etc/rc.d/rc.local中随系统启动

  • 查看集群状态

[iyunv@master local]# /usr/local/mysql-cluster/bin/ndb_mgm -e show

Connected to Management Server at: 192.168.100.20:1186

Cluster Configuration

---------------------

[ndbd(NDB)]     2 node(s)

id=2    @192.168.100.20  (mysql-5.1.73 ndb-7.1.34, Nodegroup: 0, *)

id=3    @192.168.100.30  (mysql-5.1.73 ndb-7.1.34, Nodegroup: 1)

[ndb_mgmd(MGM)] 1 node(s)

id=1    @192.168.100.20  (mysql-5.1.73 ndb-7.1.34)

[mysqld(API)]   5 node(s)

id=4    @192.168.100.20  (mysql-5.1.73 ndb-7.1.34)

id=5    @192.168.100.30  (mysql-5.1.73 ndb-7.1.34)

id=6 (not connected, accepting connect from any host)

id=7 (not connected, accepting connect from any host)

id=8 (not connected, accepting connect from any host)

  • 查看集群内存使用情况:

ndb_mgm> all report memoryusage;

Node 2: Data usage is 0%(5 32K pages of total 2560)

Node 2: Index usage is 0%(8 8K pages of total 3104)

Node 3: Data usage is 0%(5 32K pages of total 2560)

Node 3: Index usage is 0%(8 8K pages of total 3104)

  • 测试

# /usr/local/mysql-data/bin/mysql -uroot -p

mysql> show databases;

在一台上创建,另外台查看

或:

[iyunv@master local]# ls /data/test/dbo/

db.opt

建立集群数据

mysql> create table t1(id 1);

mysql> show tables;

+---------------+

| Tables_in_dbo |

+---------------+

| t1            |

+---------------+

1 row in set (0.00 sec)

如果默认不指定引擎为ndbcluster则存储在本机

mysql> create table t2(id int ,name varchar(20)) engine ndbcluster;

Query OK, 0 rows affected (1.23 sec)

[iyunv@master mysql-cluster]# ls /data/test/dbo/

db.opt  t1.frm  t1.MYD  t1.MYI  t2.frm  t2.ndb

[iyunv@slave mysql-cluster]# ls /data/test/dbo/

db.opt  t2.frm  t2.ndb

  • 集群管理
  • 各节点启动关闭
  • 启动管理节点

/usr/local/mysql-cluster/bin/ndb_mgmd --initial -f /etc/ndb-config.ini

  • 启动数据节点

[iyunv@master mysql-data]# /usr/local/mysql-data/bin/ndbd --initial

首次启动要使用--initial

[iyunv@master mysql-data]# ./bin/ndbd --initial

2016-01-02 00:11:26 [ndbd] INFO     -- Angel connected to '192.168.100.20:1186'

2016-01-02 00:11:26 [ndbd] INFO     -- Angel allocated nodeid: 2

  • 启动sql节点

[iyunv@master mysql-cluster]# /usr/local/mysql-data/bin/mysqld_safe --user=mysql &

或service mysqld start

  • 节点状态检查

[iyunv@master local]# /usr/local/mysql-cluster/bin/ndb_mgm -e show

  • 节点关闭

执行管理节点客户端ngb_mgm工具

ngb_mgm>shutdown

  • 基本维护

ngb_mgm>show 查看集群状态

help 查看命令帮助

help start

关闭集群顺序:SQL节点->数据节点->管理节点 或者使用# ./ndb_mgm -e shutdown命令关闭集群

启动集群顺序: 管理节点->数据节点->SQL节点



运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-274259-1-1.html 上篇帖子: Mysql Count之后日期显示最大值 下篇帖子: 如何修改MYSQL的字符编码
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表