CentOS(RedHat) 6.2 下Samba+CTDB+GlusterFS详细配置

chj0771

　　为了实现《基于开源软件构建高性能集群NAS系统》中提到的全部用开源软件实现一个高性能集群NAS系统，趁着这几天有点时间，打算全部用VMware的虚拟机机来搭一个实验环境。全程参考RedHat官网与Samba官网以及Gluster官网的Gluster_CTDB_setup.v1。
1. GlusterFS配置
1.1创建卷
　　使用GlusterFS集群文件系统为所有节点提供共享存储空间，并为CTDB提供lock和status等共享存储空间。CTDB卷和NAS卷都采用stripe volume，可以根据实际需求选择distribute, stripe, replica及复合卷。如下创建两个卷。
　　请参考《GlusterFS学习之CentOS 6.2 Striped Volumes简单负载均衡 》来完成GlusterFS Stripe Volume的配置。

[root@server1 gluster]# gluster volume create nas_volume stripe 2 server1:/gluster/nas1 server2:/gluster/nas2 Creation of volume nas_volume has been successful. Please start the volume to access data. [root@server1 gluster]# [root@server1 gluster]# gluster volume create lock_volume stripe 2 server1:/gluster/lock1 server2:/gluster/lock2 Creation of volume lock_volume has been successful. Please start the volume to access data. [root@server1 gluster]# [root@server1 gluster]# [root@server1 gluster]# gluster volume start nas_volume Starting volume nas_volume has been successful [root@server1 gluster]# gluster volume start lock_volume Starting volume lock_volume has been successful [root@server1 gluster]# gluster volume status Status of volume: nas_volume Gluster process                                         Port    Online  Pid ------------------------------------------------------------------------------ Brick server1:/gluster/nas1 24011 Y 3762 Brick server2:/gluster/nas2 24012 Y 3768 NFS Server on 192.168.142.142 38467 Y 8140 NFS Server on 192.168.142.142 38467 Y 3806   Status of volume: lock_volume Gluster process                                         Port    Online  Pid ------------------------------------------------------------------------------ Brick server1:/gluster/lock1 24013 Y 3794 Brick server2:/gluster/lock2 24014 Y 3800 NFS Server on 192.168.142.142 38467 Y 8140 NFS Server on 192.168.142.142 38467 Y 3806

1.2 挂载卷
　　在2个节点上同时mount以上创建的nas和ctdb卷：

[root@server1 gluster]# mount -t glusterfs server1:nas_volume /gluster/share (集群NAS使用) [root@server1 gluster]# mount -t glusterfs server1:lock_volume /gluster/ctdb_lock/(CTDB使用) [root@server2 gluster]# mount -t glusterfs server1:nas_volume /gluster/share (集群NAS使用) [root@server2 gluster]# mount -t glusterfs server1:lock_volume /gluster/ctdb_lock/(CTDB使用)

　　至此,存储空间已经准备完毕.
2. Samba配置
　　参考《CentOS(RedHat) 6.2下Samba配置》与《CentOS(RedHat) 6.2 Samba share权限拒绝访问 》。smb.conf文件默认位于/etc/samba/smb.conf，我们把smb.conf放在CTDB lock卷上，并为所有节点建立符号链接至/etc/samba/smb.conf。

ln -s /gluster/ctdb_lock/smb.conf /etc/samba/smb.conf

　　smb.conf配置内容如下：

[global] workgroup = MYGROUP netbios name = MYSERVER server string = Samba Server Version %v private dir = /gluster/ctdb_lock log file = /var/log/samba/log.%m max log size = 50 clustering = Yes //The clustering = yes entry instructs Samba to use CTDB idmap backend = tdb2 guest ok = Yes cups options = raw   [homes] comment = Home Directories read only = No browseable = No   [resource] comment = CTDB/GlusterFS resource path = /gluster/share valid users = centostest read only = No ea support = Yes //The ea parameter is required if you plan to use extended attributes

3. CTDB配置
　　CTDB是一种轻量级的集群数据库实现，基于它可以实现很多应用集群，目前CTDB支持Samba, NFS, HTTPD, VSFTPD, ISCSI, WINBIND应用，集群共享数据存储支持GPFS,GFS(2),Glusterfs, Luster, OCFS(2)。CTDB本身不是HA解决方案，但与集群文件系统相结合，它可以提供一种简便高效的HA集群解决方案。
　　集群配置两组IP，Private IP用于heartbeat和集群内部通信，Public IP用于提供外部服务访问。Public IP动态在所有集群节点上分配，当有节点发生故障，CTDB将调度其他可用节点接管其原先分配的Public IP，故障节点恢复后，漂移的PublicIP会重新被接管。这个过程对客户端是透明的，保证应用不会中断，也就是我们这里所说的高可用HA。
　　高可用集群NAS的安装配置详细过程如下：
3.1 前提条件
　　? 升级Gluster
　　? 安装CTDB
　　? 配置GlusterFS并在所有节点加载用于CTDB的卷：A Gluster replicated volume for the CTDB lock file. The lock file is only required for CIFS. The best practice is to have a volume dedicated to the lock file.
　　? 安装并配置好
　　? Port 4379 open between the Gluster servers
3.2 CTDB设置
　　配置还是比较简单的，所有节点必须把samba服务停掉，因为以后就由CTDB控制。然后配置所有节点的3个文件，确保一致。当然最好是共享存储。这里我们将/etc/sysconfig/ctdb， /etc/ctdb/public_addresses， /etc/ctdb/nodes存放于CTDB lock卷上，并为所有节点建立符号链接。

ln -s /gluster/ctdb_lock/nodes /etc/ctdb/nodes ln -s /gluster/ctdb_lock/public_addresses /etc/ctdb/public_addresses ln -s /gluster/ctdb_lock/ctdb /etc/sysconfig/ctdb

3.2.1 把samba服务停掉

service smb stop
chkconfig smb off (CTDB自动管理smb服务)

3.2.2 修改Samba配置文件smb.conf　　Add the following lines to the [global] section of your Samba configuration

clustering = yes idmap backend = tdb2 private dir = /gluster/lock

3.2.3 ctdb配置内容如下

CTDB_RECOVERY_LOCK="/gluster/ctdb_lock/lockfile" CTDB_PUBLIC_INTERFACE=eth0 CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses CTDB_MANAGES_SAMBA=yes CTDB_MANAGES_NFS=yes CTDB_MANAGES_WINBIND=yes CTDB_NODES=/etc/ctdb/nodes CTDB_DEBUGLEVEL=ERR

3.2.4 public_addresses配置内容如下

[root@server1 ctdb_lock]# cat public_addresses 192.168.142.100/24 eth0 192.168.142.101/24 eth0

　　这里要注意的是：public_addresses不能是系统中已存在的IP，否则只要你启动CTDB服务，你会得到意料不到的结果。

[root@server2 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:0C:29:73:0E:72 inet addr:192.168.142.142  Bcast:192.168.142.255  Mask:255.255.255.0 eth1      Link encap:Ethernet  HWaddr 00:0C:29:73:0E:7C inet addr:192.168.72.129  Bcast:192.168.72.255  Mask:255.255.255.0   [root@server1 ~]# ifconfig eth0      Link encap:Ethernet  HWaddr 00:0C:29:1C:5A:0C inet addr:192.168.142.133  Bcast:192.168.142.255  Mask:255.255.255.0 eth1      Link encap:Ethernet  HWaddr 00:0C:29:1C:5A:16 inet addr:192.168.72.128  Bcast:192.168.72.255  Mask:255.255.255.0

3.2.5 nodes配置内容如下

[root@server1 ctdb_lock]# cat nodes 192.168.72.129 192.168.72.128

3.3 启动服务并查看状态

chkconfig ctdb on service ctdb start ctdb ip ctdb ping -n all ctdb status [root@server1 ~]# ctdb status Number of nodes:2 pnn:0 192.168.72.129   OK pnn:1 192.168.72.128   OK (THIS NODE) Generation:585626714 Size:2 hash:0 lmaster:0 hash:1 lmaster:1 Recovery mode:NORMAL (0) Recovery master:0

　　从CTDB日志我们可以看到：

[root@server1 ~]# tail -f /var/log/log.ctdb   2012/07/31 22:45:14.907926 [19762]: Node became HEALTHY. Ask recovery master 0 to perform ip reallocation

3.4 访问测试
　　Windows CIFS访问：
　　\\192.168.142.100
　　\\192.168.142.101

　　拷贝一65MB的电影：

[root@server2 gluster]# du -sh /gluster/share/* 65M /gluster/share/Big Cat Trainer Rehabs Wild Lion Pride.avi

　　文件能均衡分布在2个节点上存储：

[root@server2 gluster]# du -sh /gluster/nas2/* 33M /gluster/nas2/Big Cat Trainer Rehabs Wild Lion Pride.avi   [root@server1 gluster]# du -sh /gluster/nas1/* 33M /gluster/nas1/Big Cat Trainer Rehabs Wild Lion Pride.avi

　　注意：配置了CTDB后，就不能再使用各个节点本身的IP去访问Samba服务了，会直接报错：

cat /var/log/log.ctdb 2012/07/31 23:56:19.080880 [19762]: Could not add client IP 192.168.142.133. This is not a public address. 2012/07/31 23:56:19.658146 [19762]: Could not add client IP 192.168.142.133. This is not a public address.

3.5 负载均衡
　　CTDB本身不能做到负载均衡，客户访问CIFS/NFS时需要指定IP。显而易见，这个高可用集群NAS不具备自动负载均衡(load balance)的功能，很容易导致集群NAS机头负载不均衡的情况发生，这对大规模高并发访问或数据密集型应用是非常不利的。
　　我们可以基于源IP来做到负载均衡。最简单的方法是采用DNS/WINS轮询。它为同一个主机名配置多个IP地址，在应答DNS查询时根据Round Robin算法返回不同的IP地址，客户端使用返回的IP连接主机，从而实现负载均衡的目的。当然前提条件是CIFS 客户端是通过我们前面配置的netbios name = MYSERVER来访问的。
　　RR-DNS的问题是无法感知集群节点负载状态并进行调度，对故障节点也会进行调度，可能造成额外的网络负载，不够均衡，容错反应时间长。
　　另外一种最为常用的负载均衡技术是LVS（Linux Virtual Server），我们后续再聊。