mysql cluster mysql集群

neocai

　　MySQL Cluster 是一种技术,其主要功能是在无共享的相关系统中部署内存中数据库的 Cluster 。在通过无共享体系结构,系统能够使用廉价的硬件,而且对软硬件无特殊要求。此外,由于每个组件有自己的内存和磁盘,不存在单点故障。MySQL Cluster 由一组计算机构成,每台计算机上均运行着多种进程,包括MySQL服务器,NDBCluster 的数据节点,管理服务器,以及(可能)专门的数据访问程序。关于 Cluster 中这些组件的关系,请参见下图:

所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中,表(结构)则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表,集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。通过将MySQL Cluster 引入开放源码世界,MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。
MySQL Cluster 基本概念
“NDB” 是一种“内存中”的存储引擎,它具有可用性高和数据一致性好的特点。
MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎,但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集,仅取决于 Cluster本身内的其他数据。
目前,MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中,Cluster的每个部分被视为1个节点。
管理(MGM)节点:这类节点的作用是管理MySQL Cluster内的其他节点,如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置,应在启动其他节点之前首先启动这类节点。MGM节点是用命令“ndb_mgmd”启动的。
数据节点:这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关,是片段的倍数。例如,对于两个副本,每个副本有两个片段,那么就有4个数据节点。不过没有必要设置多个副本。数据节点是用命令“ndbd”启动的。
SQL节点:这是用来访问 Cluster数据的节点。对于MySQL Cluster,客户端节点是使用NDBCluster存储引擎的传统MySQL服务器。通常,SQL节点是使用命令“mysqld –ndbcluster”启动的,或将“ndbcluster”添加到“my.cnf”后使用“mysqld”启动。注释:在很多情况下,术语“节点”用 于指计算机,但在讨论MySQL Cluster时,它表示的是进程。在单台计算机上可以有任意数目的节点,为此,我们采用术语“ Cluster主机”。
管理服务器(MGM节点)负责管理 Cluster配置文件和 Cluster日志。 Cluster中的每个节点从管理服务器检索配置数据,并请求确定管理服务器所在位置的方式。当数据节点内出现新的事件时,节点将关于这类事件的信息传输 到管理服务器,然后,将这类信息写入 Cluster日志。
此外,可以有任意数目的 Cluster客户端进程或应用程序。它们分为两种类型:
标准MySQL客户端:对于MySQL Cluster,它们与标准的(非 Cluster类)MySQL没有区别。换句话讲,能够从用PHP、Perl、C、C++、Java、Python、Ruby等编写的现有MySQL应用程序访问MySQL Cluster。
管理客户端:这类客户端与管理服务器相连,并提供了启动和停止节点、启动和停止消息跟踪(仅调试版本)、显示节点版本和状态、启动和停止备份等的命令。
详细请参考一下官方文档:
http://dev.mysql.com/doc/refman/5.1/zh/ndbcluster.html
从www.mysql.com上下载所需软件　　

• MySQL-Cluster-gpl-client-7.1.18-1.el6.x86_64.rpm
  
• MySQL-Cluster-gpl-clusterj-7.1.18-1.el6.x86_64.rpm
  
• MySQL-Cluster-gpl-management-7.1.18-1.el6.x86_64.rpm
  
• MySQL-Cluster-gpl-server-7.1.18-1.el6.x86_64.rpm
  
• MySQL-Cluster-gpl-storage-7.1.18-1.el6.x86_64.rpm
  
• MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm
  

　　

　　系统:RHEL6  selinux and iptables disabled

管理节点:192.168.0.31
数据节点:192.168.0.56
sql节点:192.168.0.71
管理节点配置：　　

• rpm -ivh MySQL-Cluster-gpl-management-7.1.18-1.el6.x86_64.rpm
  
• rpm -ivh MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm
  
• mkdir /usr/mysql-cluster
  
• vim /usr/mysql-cluster/config.ini
  
• [ndbd default]
  
• noofreplicas=1  #该全局参数仅能在[NDBD DEFAULT]中设置,它定义了cluster中每个表保存的副本数。该参数还指定了节点组的大小。节点组指的是保存相同信息的节点集合
  
• datamemory=30M  #该参数定义了数据节点用于保存数据库记录的空间大小,全部空间均是分配在内存中的,确保你的数据节点具有足够的物理内存来容纳该值,由于我这是使用虚拟机测试,所以设置的偏小,你可以依照实际环境来定义此值
  
• indexmemory=10M #该参数用于控制cluster中哈希(混编)索引所使用的存储量
  
• [ndb_mgmd]
  
• nodeid=1 #cluster中的每个节点都有唯一的标识,由从1到63的整数表示
  
• hostname=192.168.0.31  #定义管理节点ip
  
• datadir=/usr/mysql-cluster #它用于设置保存管理服务器输出文件的位置。这些文件包括cluster日志文件、进程输出文件、以及端口监督程序的pid文件
  
• [ndbd]
  
• nodeid=2
  
• hostname=192.168.0.56 #定义数据节点ip
  
• datadir=/usr/mysql-cluster  #它用于设置保存管理服务器输出文件的位置。这些文件包括cluster日志文件、进程输出文件、以及端口监督程序的pid文件
  
• [mysqld]
  
• nodeid=3
  
• hostname=192.168.0.71  #定义sql节点ip
  

　　


首先启动管理节点,然后启动存储节点,最后启动SQL节点　　

• :ndb_mgmd -f /usr/local/mysql-cluster/config.ini
  

　　


查看集群状态　　

• ndb_mgm
  
• ndb_mgm> show #查看集群连接状态
  

　　


数据节点配置：　　

• rpm -ivh MySQL-Cluster-gpl-storage-7.1.18-1.el6.x86_64.rpm
  
• mkdir /usr/mysql-cluster
  
• vim /etc/my.cnf
  
• [mysqld]
  
• ndbcluster #运行ndb集群引擎
  
• ndb-connectstring=192.168.0.31  #指定管理节点
  
• [mysql_cluster]
  
• ndb-connectstring=192.168.0.31  #指定管理节点
  

　　

启动数据节点　　

• ndbd --initial
  
• 注: 仅在首次启动ndbd时,或在备份/恢复或配置变化后重启ndbd时使用“--initial”参数。原因在于,该参数会使节点删除由早期ndbd实例创建的、用于恢复的任何文件,包括恢复用日志文件
  

　　


sql节点配置:　　

• rpm -ivh MySQL-Cluster-gpl-client-7.1.18-1.el6.x86_64.rpm
  
• rpm -ivh MySQL-Cluster-gpl-server-7.1.18-1.el6.x86_64.rpm
  

　　

注意，如果之前安装过mysql和mysql-server而且做过实验的话，安装会报错，提示版本冲突，需要做一下的事情　　

• yum remove mysql-server mysql mysql-libs
  
• cd /var/lib/mysql/
  
• rm -fr *
  
• mysql_install_db --user=mysql  初始化mysql,因为刚刚把它所有的数据都删除了，这样做完就可以安装集群了
  

　　

　　

• cp /usr/share/mysql/my-medium.cnf /etc/my.cnf  #根据内存大小选取配置文件，我的是300M
  
• vim /etc/my.cnf
  
• [mysqld] ....         (以下数据添加在[mysqld]区域的最下方)
  
• ndbcluster
  
• ndb-connectstring=192.168.0.31
  
• [mysql_cluster]
  
• ndb-connectstring=192.168.0.31
  

　　

启动sql节点：　　

• /etc/init.d/mysql start
  

　　

这时候再在管理节点查看集群状态，所有连接成功：　　

• [root@desktop26 mnt]# ndb_mgm
  
• -- NDB Cluster -- Management Client --
  
• ndb_mgm> show
  
• Connected to Management Server at: localhost:1186
  
• Cluster Configuration
  
• ---------------------
  
• [ndbd(NDB)] 1 node(s)
  
• id=2    @192.168.0.56  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0, Master)
  
• 
  
• [ndb_mgmd(MGM)] 1 node(s)
  
• id=1    @192.168.0.31  (mysql-5.1.56 ndb-7.1.18)
  
• 
  
• [mysqld(API)]   1 node(s)
  
• id=3    @192.168.0.71  (mysql-5.1.56 ndb-7.1.18)
  
• 
  
• ndb_mgm>
  

　　

安全关闭和重启mysql cluster
在MGM节点所在的机器上,在Shell中简单地输入下述命令:
ndb_mgm -e shutdown
该命令将恰当地中止ndb_mgm、ndb_mgmd以及任何ndbd进程。使用mysqladmin shutdown或其他方法,可中止SQL节点
重启时,可简单地运行下述命令:
在管理节点上:
ndb_mgmd -f /var/lib/mysql-cluster/config.ini
在每台数据节点上:
ndbd
注:正常重启NDBD节点时,不要用“--initial”选项调用该命令。
在SQL节点上:
service mysql start
功能扩展：
新增节点：数据节点：192.168.0.52  sql节点：192.168.0.63
管理节点上配置：　　

• ndb_mgm -e shutdown  #中止ndb_mgm、ndb_mgmd以及任何ndbd进程
  
• vim /usr/mysql-cluster/config.ini
  
• [ndbd default]
  
• noofreplicas=2 #定义两个节点为一个节点组,这里指的是id 2和3为一个数据组,同组存储的数据是相同,数据节点分布在不同的主机,避免了单点故障。
  
• datamemory=30M
  
• indexmemory=10M
  
• 
  
• [ndb_mgmd]
  
• nodeid=1
  
• hostname=192.168.0.31
  
• datadir=/usr/mysql-cluster
  
• 
  
• [ndbd]
  
• nodeid=2
  
• hostname=192.168.0.56
  
• datadir=/usr/mysql-cluster
  
• 
  
• [ndbd]     #加入新增数据节点
  
• nodeid=3
  
• hostname=192.168.0.52
  
• datadir=/usr/mysql-cluster
  
• 
  
• [mysqld]
  
• nodeid=4
  
• hostname=192.168.0.71
  
• 
  
• [mysqld]    #加入新增sql节点
  
• nodeid=5
  
• hostname=192.168.0.63
  
• 
  
• [mysqld]    #加了个空闲连接,数据备份和恢复时所需要,需要时再加也可以
  

　　

再次启动管理节点　　

• ndb_mgmd -f /usr/mysql-cluster/config.ini --initial
  
• #不加--initial的话新修改的配置不会生效
  

　　

按上面方法配置新的数据节点和sql节点，数据节点重新初始化，各sql节点重启mysql:　　

• ndbd --initial
  
• /etc/init.d/mysql restart
  

　　

管理节点检测:　　

• ndb_mgm> show
  
• Cluster Configuration
  
• ---------------------
  
• [ndbd(NDB)] 2 node(s)
  
• id=2    @192.168.0.171  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0, Master)
  
• id=3    @192.168.0.52  (mysql-5.1.56 ndb-7.1.18, Nodegroup: 0)
  
• 
  
• [ndb_mgmd(MGM)] 1 node(s)
  
• id=1    @192.168.0.31  (mysql-5.1.56 ndb-7.1.18)
  
• 
  
• [mysqld(API)]   3 node(s)
  
• id=4    @192.168.0.40  (mysql-5.1.56 ndb-7.1.18)
  
• id=5    @192.168.0.63  (mysql-5.1.56 ndb-7.1.18)
  
• id=6 (not connected, accepting connect from any host)
  
• 
  
• ndb_mgm>
  

　　

从以上的显示信息可以看到节点2和3做为一个数据组,两个节点的数据是一样的,互为冗余;两个sql 节点可以操作,互为冗余。
建立集群数据:
在sql节点执行:　　

• mysqladmin create world
  
• vi city.sql
  
• CREATE TABLE City (
  
• ID int(11) NOT NULL auto_increment,
  
• Name char(35) NOT NULL default '',
  
• CountryCode char(3) NOT NULL default '',
  
• District char(20) NOT NULL default '',
  
• Population int(11) NOT NULL default '0',
  
• PRIMARY KEY (ID)
  
• ) ENGINE=NDBCLUSTER; #指定MySQL为该表使用了NDB存储引擎,数据存储于各数据节点,不
  
• 然 mysql使用默认的MyISAM存储引擎,所有的数据将会存储于本机,和单机一样
  
• INSERT INTO City VALUES (1,'Kabul','AFG','Kabol',1780000);
  
• INSERT INTO City VALUES (2,'Qandahar','AFG','Qandahar',237500);
  
• INSERT INTO City VALUES (3,'Herat','AFG','Herat',186800);
  
• mysql world < city.sql
  

　　

现在你可以在各sql节点查看数据　　

• mysql> select * from City;
  
• +----+----------+-------------+----------+------------+
  
• | ID | Name     | CountryCode | District | Population |
  
• +----+----------+-------------+----------+------------+
  
• |  3 | Herat    | AFG         | Herat    |     186800 |
  
• |  1 | Kabul    | AFG         | Kabol    |    1780000 |
  
• |  2 | Qandahar | AFG         | Qandahar |     237500 |
  
• +----+----------+-------------+----------+------------+
  
• 3 rows in set (0.00 sec)
  

　　

mysql cluster 备份恢复
在管理节点执行备份:　　

• ndb_mgm> start backup
  
• Waiting for completed, this may take several minutes
  
• Node 2: Backup 1 started from node 1
  
• Node 2: Backup 1 started from node 1 completed
  
• StartGCP: 509 StopGCP: 512
  
• #Records: 2060 #LogRecords: 0
  
• Data: 51380 bytes Log: 0 bytes
  

　　


注:备份的数据在各数据节点的/usr/mysql-cluster/BACKUP目录下保存,每个数据节点保存一部分数据
删除City表中的所有数据　　

• mysql> delete from City;
  
• Query OK, 3 rows affected (0.04 sec)
  
• 
  
• mysql> select * from City;
  
• Empty set (0.00 sec)
  

　　


由于数据分散在两个数据节点,因此在各数据节点执行恢复，由于使用rpm包方式安装,各数据节点没有ndb_restore（来自MySQL-Cluster-gpl-tools-7.1.18-1.el6.x86_64.rpm）命令,可以直接从管理节点scp：　　

• scp /usr/bin/ndb_restore 192.168.0.56:/usr/bin
  
• scp /usr/bin/ndb_restore 192.168.0.52:/usr/bin
  

　　

在每个数据节点上分别执行恢复动作，-n指nodeid，-b指恢复第几次的备份，-r指恢复，后面接的使保存备份的文件夹　　

• ndb_restore -n 2 -b 1 -r /usr/mysql-cluster/BACKUP/BACKUP-1/
  
• mysql> select * from City;  #sql节点
  
• +----+-------+-------------+----------+------------+
  
• |>
  
• +----+-------+-------------+----------+------------+
  
• |  3 | Herat | AFG         | Herat    |     186800 |
  
• +----+-------+-------------+----------+------------+
  
• 1 row in set (0.14 sec)
  
• ndb_restore -n 3 -b 1 -r /usr/mysql-cluster/BACKUP/BACKUP-1/
  
• mysql> select * from City;  #sql节点
  
• +----+----------+-------------+----------+------------+
  
• |>
  
• +----+----------+-------------+----------+------------+
  
• |  1 | Kabul    | AFG         | Kabol    |    1780000 |
  
• |  2 | Qandahar | AFG         | Qandahar |     237500 |
  
• |  3 | Herat    | AFG         | Herat    |     186800 |
  
• +----+----------+-------------+----------+------------+
  
• 3 rows in set (0.01 sec)  mysql>