Glusterfs初体验

lyl801013

　　环境：
　　Centos 6.0-x86_64
　　集群使用三台服务器组成Glusterfs集群，其中两台服务器提供NFS和Rsync服务用于备份
　　每台服务器2块网卡eth0对应内网、eth1对应外网，
　　Glusterfs简介：
　　GlusterFS是Scale-Out存储解决方案Gluster的核心，它是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计，可为各种不同的数据负载提供优异的性能。Glusterfs的主要特征包括：高扩展性和高性能、高可用性、全局统一命名空间、弹性哈希算法、弹性卷管理、基于标准协议，技术实现特点包括：完全软件实现、完整的存储操作系统栈、用户空间实现、模块化堆栈式架构、原始数据格式存储、无元数据服务设计。
　　Glusterfs常用卷类型如下：
　　哈希卷：类似于将多个文件系统组成一个卷，存储文件是以轮询方式进行的。
　　复制卷：为卷中数据自动创建副本。
　　条带卷：类似于raid0，将数据存储在集群中的多个成员服务器上。
　　哈希+复制卷：先创建哈希再用哈希卷创建复制卷。
　　安装方法：
　　Glusterfs的安装很简单，可以选择编译安装或者rpm包安装，此处为了方便就选择rpm包安装了

• 　　首先安装依赖包（使用163源）：
  　　yum -y install rpcbind libaio lvm2-devel openssl libibverbs librdmacm
  
• 　　安装Glusterfs
  　　glusterfs-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-cli-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-fuse-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-rdma-3.4.2-1.el6.x86_64.rpm
  glusterfs-api-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-debuginfo-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-geo-replication-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-server-3.4.2-1.el6.x86_64.rpm
  glusterfs-api-devel-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-devel-3.4.2-1.el6.x86_64.rpm
  　　glusterfs-libs-3.4.2-1.el6.x86_64.rpm
  　　这些包都是在官网下载的，依赖包安装完以后可以直接使用rpm -ivh * 安装，安装完以后设置服务开机自启动chkconfig glusterd on
  
• 　　下面来演示创建集群、创建卷、使用系统NFS访问、使用原生NFS访问：
  　　创建集群：
  

　　gluster peer probe 其他服务器地址（自己不需要添加）添加集群成员
　　[root@localhost 3.4]# gluster peer probe 192.168.1.2
peer probe: success: host 192.168.1.2 port 24007 already in peer list
[root@localhost 3.4]# gluster peer probe 192.168.1.3
peer probe: success: host 192.168.1.3 port 24007 already in peer list
　　gluster peer status 查看集群状态
　　[root@localhost 3.4]# gluster peer status
Number of Peers: 2
　　Hostname: 192.168.1.2
Port: 24007
Uuid: 35eb06f8-24da-43d9-96e5-75c6a203f858
State: Peer in Cluster (Connected)
　　Hostname: 192.168.1.3
Port: 24007
Uuid: efe5836a-555e-4c24-ba76-4b3602d0f15c
State: Peer in Cluster (Connected)
　　创建卷：
　　首先来看看卷管理的常用命令：
　　创建卷帮助
　　gluster volume create help
　　查看卷信息：
　　gluster volume info
　　查看卷状态：
　　gluster volume status
　　创建卷：
　　volume create  [stripe ] [replica ] [device vg] [transport ]  ... [force]
　　启动卷：
　　gluster volume start volumename
　　停止卷：
　　gluster volume stop volumename
　　下面举例:
　　gluster volume create jerryafr replica 2 192.168.1.1:/glust/er/afr 192.168.1.2:/gluster/abr
　　这条命令的目的是使用1.1上的/gluster/afr和1.2上的/gluster/abr创建一个名为jerryafr的备份卷，需要注意的是如果这两个brick在你的os parttion上那你还要再后面加上 force 否则会报错
　　启动卷:
　　gluster volume start jerryafr
　　启动起来后我们可以mount测试一下：
　　mount -t glusterfs192.168.1.1:/jerryafr /media
　　上面这种方法是基于fuse实现的，glusterfs当然不会只能这么玩，还可以支持NFS，NFS又分两种原生NFS和系统NFS。
　　使用原生NFS挂载：mount -t nfs -o vers=3 192.168.1.1:/jerryafr /media
　　使用此种方法要确保服务端rpcbind要打开并且要注意系统NFS不能启动
　　使用系统NFS挂载：
　　首先把卷使用glusterfs方法挂载到某个目录
　　mount -t glusterfs 192.168.1.1:/jerryafr /media
　　然后修改/etc/exports文件
　　例子：/media   *(rw,fsid=1235)
　　然后停掉原生NFS：gluster volume set jerryafr nfs.disable on
　　最后再启动系统NFS服务即可