CentOS(RedHat) 6.2 下Samba+CTDB+GlusterFS详细配置
为了实现《基于开源软件构建高性能集群NAS系统》中提到的全部用开源软件实现一个高性能集群NAS系统，趁着这几天有点时间，打算全部用VMware的虚拟机机来搭一个实验环境。全程参考RedHat官网与Samba官网以及Gluster官网的Gluster_CTDB_setup.v1。1. GlusterFS配置
1.1创建卷
使用GlusterFS集群文件系统为所有节点提供共享存储空间，并为CTDB提供lock和status等共享存储空间。CTDB卷和NAS卷都采用stripe volume，可以根据实际需求选择distribute, stripe, replica及复合卷。如下创建两个卷。
请参考《GlusterFS学习之CentOS 6.2 Striped Volumes简单负载均衡 》来完成GlusterFS Stripe Volume的配置。
[root@server1 gluster]# gluster volume create nas_volume stripe 2 server1:/gluster/nas1
server2:/gluster/nas2
Creation of volume nas_volume has been successful. Please start the volume to access data. [root@server1 gluster]# [root@server1 gluster]# gluster volume create lock_volume stripe 2 server1:/gluster/lock1
server2:/gluster/lock2
Creation of volume lock_volume has been successful. Please start the volume to access data. [root@server1 gluster]# [root@server1 gluster]# [root@server1 gluster]# gluster volume start nas_volume
Starting volume nas_volume has been successful [root@server1 gluster]# gluster volume start lock_volume
Starting volume lock_volume has been successful [root@server1 gluster]# gluster volume status
Status of volume: nas_volume Gluster process Port OnlinePid ------------------------------------------------------------------------------ Brick server1:/gluster/nas1 24011 Y 3762 Brick server2:/gluster/nas2 24012 Y 3768 NFS Server on 192.168.142.142 38467 Y 8140 NFS Server on 192.168.142.142 38467 Y 3806
Status of volume: lock_volume
Gluster process Port OnlinePid ------------------------------------------------------------------------------ Brick server1:/gluster/lock1 24013 Y 3794 Brick server2:/gluster/lock2 24014 Y 3800 NFS Server on 192.168.142.142 38467 Y 8140 NFS Server on 192.168.142.142 38467 Y 3806
1.2 挂载卷
在2个节点上同时mount以上创建的nas和ctdb卷：
[root@server1 gluster]# mount -t glusterfs server1:nas_volume /gluster/share (集群NAS使用) [root@server1 gluster]# mount -t glusterfs server1:lock_volume /gluster/ctdb_lock/(CTDB使用) [root@server2 gluster]# mount -t glusterfs server1:nas_volume /gluster/share (集群NAS使用) [root@server2 gluster]# mount -t glusterfs server1:lock_volume /gluster/ctdb_lock/(CTDB使用)
至此,存储空间已经准备完毕.
2. Samba配置
参考《CentOS(RedHat) 6.2下Samba配置》与《CentOS(RedHat) 6.2 Samba share权限拒绝访问 》。smb.conf文件默认位于/etc/samba/smb.conf，我们把smb.conf放在CTDB lock卷上，并为所有节点建立符号链接至/etc/samba/smb.conf。
ln -s /gluster/ctdb_lock/smb.conf /etc/samba/smb.conf
smb.conf配置内容如下：
[global] workgroup = MYGROUP
netbios name = MYSERVER
server string = Samba Server Version %v
private dir = /gluster/ctdb_lock
log file = /var/log/samba/log.%m max log size = 50 clustering = Yes //The clustering = yes entry instructs Samba to use CTDB
idmap backend = tdb2
guest ok = Yes
cups options = raw
[homes] comment = Home Directories
read only = No
browseable = No
[resource] comment = CTDB/GlusterFS resource path = /gluster/share
valid users = centostest
read only = No ea support = Yes //The ea parameter is required if you plan to use extended attributes
3. CTDB配置
CTDB是一种轻量级的集群数据库实现，基于它可以实现很多应用集群，目前CTDB支持Samba, NFS, HTTPD, VSFTPD, ISCSI, WINBIND应用，集群共享数据存储支持GPFS,GFS(2),Glusterfs, Luster, OCFS(2)。CTDB本身不是HA解决方案，但与集群文件系统相结合，它可以提供一种简便高效的HA集群解决方案。
集群配置两组IP，Private IP用于heartbeat和集群内部通信，Public IP用于提供外部服务访问。Public IP动态在所有集群节点上分配，当有节点发生故障，CTDB将调度其他可用节点接管其原先分配的Public IP，故障节点恢复后，漂移的PublicIP会重新被接管。这个过程对客户端是透明的，保证应用不会中断，也就是我们这里所说的高可用HA。
高可用集群NAS的安装配置详细过程如下：
3.1 前提条件
? 升级Gluster
? 安装CTDB
? 配置GlusterFS并在所有节点加载用于CTDB的卷：A Gluster replicated volume for the CTDB lock file. The lock file is only required for CIFS. The best practice is to have a volume dedicated to the lock file.
? 安装并配置好
? Port 4379 open between the Gluster servers
3.2 CTDB设置
配置还是比较简单的，所有节点必须把samba服务停掉，因为以后就由CTDB控制。然后配置所有节点的3个文件，确保一致。当然最好是共享存储。这里我们将/etc/sysconfig/ctdb， /etc/ctdb/public_addresses， /etc/ctdb/nodes存放于CTDB lock卷上，并为所有节点建立符号链接。
ln -s /gluster/ctdb_lock/nodes /etc/ctdb/nodes
ln -s /gluster/ctdb_lock/public_addresses /etc/ctdb/public_addresses
ln -s /gluster/ctdb_lock/ctdb /etc/sysconfig/ctdb
3.2.1 把samba服务停掉
service smb stop
chkconfig smb off (CTDB自动管理smb服务)
3.2.2 修改Samba配置文件smb.conf Add the following lines to the section of your Samba configuration
clustering = yes
idmap backend = tdb2
private dir = /gluster/lock
3.2.3 ctdb配置内容如下
CTDB_RECOVERY_LOCK="/gluster/ctdb_lock/lockfile" CTDB_PUBLIC_INTERFACE=eth0
CTDB_PUBLIC_ADDRESSES=/etc/ctdb/public_addresses
CTDB_MANAGES_SAMBA=yes
CTDB_MANAGES_NFS=yes
CTDB_MANAGES_WINBIND=yes
CTDB_NODES=/etc/ctdb/nodes
CTDB_DEBUGLEVEL=ERR
3.2.4 public_addresses配置内容如下
[root@server1 ctdb_lock]# cat public_addresses
192.168.142.100/24 eth0
192.168.142.101/24 eth0
这里要注意的是：public_addresses不能是系统中已存在的IP，否则只要你启动CTDB服务，你会得到意料不到的结果。
[root@server2 ~]# ifconfig
eth0 Link encap:EthernetHWaddr 00:0C:29:73:0E:72 inet addr:192.168.142.142Bcast:192.168.142.255Mask:255.255.255.0
eth1 Link encap:EthernetHWaddr 00:0C:29:73:0E:7C
inet addr:192.168.72.129Bcast:192.168.72.255Mask:255.255.255.0
[root@server1 ~]# ifconfig
eth0 Link encap:EthernetHWaddr 00:0C:29:1C:5A:0C
inet addr:192.168.142.133Bcast:192.168.142.255Mask:255.255.255.0
eth1 Link encap:EthernetHWaddr 00:0C:29:1C:5A:16 inet addr:192.168.72.128Bcast:192.168.72.255Mask:255.255.255.0
3.2.5 nodes配置内容如下
[root@server1 ctdb_lock]# cat nodes
192.168.72.129
192.168.72.128
3.3 启动服务并查看状态
chkconfig ctdb on service ctdb start
ctdb ip
ctdb ping -n all
ctdb status [root@server1 ~]# ctdb status
Number of nodes:2 pnn:0 192.168.72.129 OK
pnn:1 192.168.72.128 OK (THIS NODE) Generation:585626714 Size:2 hash:0 lmaster:0 hash:1 lmaster:1 Recovery mode:NORMAL (0) Recovery master:0
从CTDB日志我们可以看到：
[root@server1 ~]# tail -f /var/log/log.ctdb
2012/07/31 22:45:14.907926 [19762]: Node became HEALTHY. Ask recovery master 0 to perform ip
reallocation
3.4 访问测试
Windows CIFS访问：
\\192.168.142.100
\\192.168.142.101
http://www.storageonline.com.cn/wp-content/uploads/2012/08/sambashare_thumb.png
拷贝一65MB的电影：
[root@server2 gluster]# du -sh /gluster/share/* 65M /gluster/share/Big Cat Trainer Rehabs Wild Lion Pride.avi
文件能均衡分布在2个节点上存储：
[root@server2 gluster]# du -sh /gluster/nas2/* 33M /gluster/nas2/Big Cat Trainer Rehabs Wild Lion Pride.avi
[root@server1 gluster]# du -sh /gluster/nas1/* 33M /gluster/nas1/Big Cat Trainer Rehabs Wild Lion Pride.avi
注意：配置了CTDB后，就不能再使用各个节点本身的IP去访问Samba服务了，会直接报错：
cat /var/log/log.ctdb 2012/07/31 23:56:19.080880 [19762]: Could not add client IP 192.168.142.133. This is not a public
address. 2012/07/31 23:56:19.658146 [19762]: Could not add client IP 192.168.142.133. This is not a public
address.
3.5 负载均衡
CTDB本身不能做到负载均衡，客户访问CIFS/NFS时需要指定IP。显而易见，这个高可用集群NAS不具备自动负载均衡(load balance)的功能，很容易导致集群NAS机头负载不均衡的情况发生，这对大规模高并发访问或数据密集型应用是非常不利的。
我们可以基于源IP来做到负载均衡。最简单的方法是采用DNS/WINS轮询。它为同一个主机名配置多个IP地址，在应答DNS查询时根据Round Robin算法返回不同的IP地址，客户端使用返回的IP连接主机，从而实现负载均衡的目的。当然前提条件是CIFS 客户端是通过我们前面配置的netbios name = MYSERVER来访问的。
RR-DNS的问题是无法感知集群节点负载状态并进行调度，对故障节点也会进行调度，可能造成额外的网络负载，不够均衡，容错反应时间长。
另外一种最为常用的负载均衡技术是LVS（Linux Virtual Server），我们后续再聊。
页:
[1]