glusterfs复制卷的创建以及glusterfs的常用命令
一、 安装glusterfs服务端[*]1.到阿里云取epel源，和官方的yum源才能安装。（本次把几个个yum源放到附件）
yuminstall glusterfs-server装完即可
启动glusterd
[root@server2yum.repos.d]# systemctl start glusterd
[root@server2yum.repos.d]# ps -ef | grep gluster
root 4732 10 16:22 ? 00:00:00 /usr/sbin/glusterd -p/var/run/glusterd.pid
root 4791 37890 16:25 pts/1 00:00:00 grep --color=auto gluster
可以看到glusterfs已经启动。
查看gluster的状态
[root@server2yum.repos.d]# gluster peer status
Connectionfailed. Please check if gluster daemon is operational.
可以看到以上报错了。可以用一下方法来解决此错误
[root@server2yum.repos.d]# rm /var/run/glusterd.socket
rm：是否删除套接字 "/var/run/glusterd.socket"？y
[root@server2yum.repos.d]# systemctl start glusterd
[root@server2yum.repos.d]# gluster peer status
Numberof Peers: 0
[root@server2yum.repos.d]#
可以看到此时已经恢复正常
在server1上重新执行上面的步骤。（步骤略）
二、 安装glusterfs客户端同样配置好阿里云的yum源，和官方提供的源。安装glusterfs-cli-3.6.0.29-2.el6.x86_64 glusterfs-libs-3.6.0.29-2.el6.x86_64 glusterfs-fuse-3.6.0.29-2.el6.x86_64
glusterfs-3.6.0.29-2.el6.x86_64这四个安装包就行
三、 配置glusterfs服务端首先要为两个服务端挂载额外的磁盘并且分区挂载到一个特定位置，本次挂载到/data下
# df -HT
文件系统 类型 容量已用可用 已用% 挂载点
/dev/mapper/centos-root xfs 21G 4.3G 16G 22% /
devtmpfs devtmpfs509M 0509M 0% /dev
tmpfs tmpfs 518M 0518M 0% /dev/shm
tmpfs tmpfs 518M14M504M 3% /run
tmpfs tmpfs 518M 0518M 0% /sys/fs/cgroup
/dev/sda1 xfs 312M 114M198M 37% /boot
/dev/sdb1 xfs 5.4G62M5.3G 2% /data
# df -HT
文件系统 类型 容量已用可用 已用% 挂载点
/dev/mapper/centos-root xfs 21G 4.0G 17G 20% /
devtmpfs devtmpfs509M 0509M 0% /dev
tmpfs tmpfs 518M 0518M 0% /dev/shm
tmpfs tmpfs 518M 7.3M511M 2% /run
tmpfs tmpfs 518M 0518M 0% /sys/fs/cgroup
/dev/sda1 xfs 312M 114M198M 37% /boot
/dev/sdb1 xfs 5.4G61M5.3G 2% /data
下面来让我们把两台glusterfs服务器做成一个群集
# gluster peer probe server2
查看当前状态，可以看到当前有两个节点了
# gluster peer status
Number of Peers: 1
Hostname: 192.168.2.29
Uuid: 60e180d4-dc68-4fac-a09e-225977c91340
State: Peer in Cluster (Connected)
Other names:
server2
下面创建几种类型的卷来实验一下效果
[*]哈希卷：（不提供冗余，根据一种特殊的算法访问服务端）
# gluster volume create haxi server1:/data/haxi_b1server2:/haxi_b2
[*]复制卷 （可以提供冗余，相当于raid1）
#gluster volume create fuzhi replica 2server1:/data/fuzhi_b1 server2:/data/fuzhi_b2
[*]哈希复制卷
gluster volume create hxfz server1:/data/hxfz_b1server2:/data/hxfz_b1 server1:/data/hxfz_b2 server2:/data/hxfz_b2 force
[*]条带卷
gluster volume create tiaodai stripe 2server1:/data/tiaodai_b1 server2:/data/tiaodai_b2查看卷的信息
# gluster volume info
复制卷
Volume Name: fuzhi
Type: Replicate
Volume ID: 0bc17a47-c255-403e-b407-8ed6cdde136e
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1:/data/fuzhi_b1
Brick2: server2:/data/fuzhi_b2
Options Reconfigured:
performance.readdir-ahead: on
哈希卷
Volume Name: haxi
Type: Distribute
Volume ID: 02700557-aabf-46ce-b04f-94349e448d84
Status: Started
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: server1:/data/haxi_b1
Brick2: server2:/data/haxi_b2
Options Reconfigured:
performance.readdir-ahead: on
哈希复制卷
Volume Name: hxfz
Type: Distribute
Volume ID: 91647ca1-d8dc-4f9b-89f1-8bff7b5761f6
Status: Started
Number of Bricks: 4
Transport-type: tcp
Bricks:
Brick1: server1:/data/hxfz_b1
Brick2: server2:/data/hxfz_b1
Brick3: server1:/data/hxfz_b2
Brick4: server2:/data/hxfz_b2
Options Reconfigured:
performance.readdir-ahead: on
条带卷
Volume Name: tiaodai
Type: Stripe
Volume ID: faba8182-be90-4fa6-8a56-dea887f94024
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1:/data/tiaodai_b1
Brick2: server2:/data/tiaodai_b2
Options Reconfigured:
performance.readdir-ahead: on
一、 在客户端进行挂载首先在客户端创建挂载点
# mkdir haxi fuzhi hxfz tiaodai
进行挂载
挂载格式mount-t (类型) servername:卷的名字 本机挂载点
mount -t glusterfs server1:/haxi haxi
mount –t glusterfs server1:/hxfzhxfz
mount –t glusterfs server1:/fuzhifuzhi
mount –t glusterfs server1:/tiaodaitiaodai
使用df命令查看挂载情况
# df -HT
Filesystem Type SizeUsed Avail Use% Mounted on
/dev/mapper/vg_erick-lv_root ext4 20G1.9G17G11% /
tmpfs tmpfs 389M 0 389M 0% /dev/shm
/dev/sda1 ext4 508M 35M 448M 8% /boot
server1:/fuzhi fuse.glusterfs5.4G 62M 5.3G 2% /root/fuzhi
server2:/fuzhi fuse.glusterfs5.4G 62M 5.3G 2% /root/fuzhi
server1:hxfz fuse.glusterfs 51G 8.0G 43G16% /root/hxfz
server1:/haxi fuse.glusterfs 26G4.0G22G16% /root/haxi
server1:/tiaodai fuse.glusterfs 26G4.0G22G16% /root/fuzhi/tiaodai
现在可以查看当前客户端的进程
# ps -ef | grep glusterfs
root 2461 10Mar06 ? 00:00:02/usr/sbin/glusterfs --volfile-server=server1 --volfile-id=/fuzhi fuzhi/
root 2580 10Mar06 ? 00:00:02/usr/sbin/glusterfs --volfile-server=server2 --volfile-id=/fuzhi fuzhi/
root 2700 10Mar06 ? 00:00:02/usr/sbin/glusterfs --volfile-server=server1 --volfile-id=hxfz hxfz/
root 4672 1006:39 ? 00:00:00/usr/sbin/glusterfs --volfile-server=server1 --volfile-id=/haxi haxi/
root 4752 1006:45 ? 00:00:00/usr/sbin/glusterfs --volfile-server=server1 --volfile-id=/tiaodai tiaodai/
可以看到一个挂载对应这个一个进程。
二、 几种卷组的测试
[*]测试复制卷
复制卷就相当于raid0，可以做冗余，在写文件时，把流量写成2份到不同的server端。
首先在client端创建测试文件
# touch {1..10}
# ls
1102 345 6789
分别在Server端查看文件是否产生
# ls
1 1023 456 789
# ls
1 1023 456 789
已经产生了文件。
测试更改文件内容
# echo"test">1
# cat 1
Test
# cat 1
Test
# cat 1
Test
测试删除
# rm * -f
# ll
total 0
# ll
总用量 0
# ll
总用量 0
可以看到现在两个server端已经没有数据
下面模拟一下当其中一个server宕机后的是怎么恢复的
# touch{1..10}
# ls
102 345 6789
现在server1和server2应该已经同步了数据
现在模拟server1的网络突然断开的情况
# systemctl stop network
现在我们继续用客户端进行写和删除操作
# touch{10..20}
# rm -f{1..10}
# ls
1112 131415 161718 1920
现在我们到server2上查看数据
# ls
1112 131415 161718 1920
此时我们能看到server2 已经同步数据了，由于server1网络已经物理断开了，所以数据应该不会同步
下面我们对server1进行恢复
# glustervolume heal fuzhi
下面在查看我们的数据
# ls
1112 131415 161718 1920
发现我们的数据已经同步回来了！
模拟磁盘损坏并由server3顶替server1的位置
查看当前server1 server2 和client的数据
# ls
111213 1415161718 1920
# ls
111213 1415161718 1920
# ls
111213 1415161718 1920
查看当前复制分区的信息
# gluster volume info fuzhi
Volume Name: fuzhi
Type: Replicate
Volume ID: 0bc17a47-c255-403e-b407-8ed6cdde136e
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1:/data/fuzhi_b1
Brick2: server2:/data/fuzhi_b2
Options Reconfigured:
features.inode-quota: on
features.quota: on
performance.readdir-ahead: on
可以看到此时的数据是一样的，现在我们把server1的sdb盘卸载掉，然后用server3来顶替server1工作。
移除server1的sdb后，现在可以看到server1的/data目录以及损坏
# ls
ls: 无法打开目录.: 输入/输出错误
此时我们到客户端更新目录的内容
# touch {100..110}
# ls
100101102 103104105 106107108 10911110 121314 151617 181920
# ls
100102104 10610811121416 1820
101103105 107109110 13151719
替换步骤：
[*]1. 把server1的brick移除
# gluster volume remove-brick fuzhi replica 1 server1:/data/fuzhi_b1force查看当前fuzhi卷的信息，现在可以看到只有server2的卷了
Removingbrick(s) can result in data loss. Do you want to Continue? (y/n) yvolume remove-brick commitforce: success
#gluster volume info fuzhi
Volume Name: fuzhi
Type: Distribute
Volume ID:0bc17a47-c255-403e-b407-8ed6cdde136e
Status: Started
Number ofBricks: 1
Transport-type: tcp
Bricks:
Brick1:server2:/data/fuzhi_b2
Options Reconfigured:
features.inode-quota: on
features.quota: on
performance.readdir-ahead:on
[*]2. 把server3的brick添加到复制卷
# gluster volume add-brickfuzhi replica 2 server3:/data/fuzhi_b3forcevolume add-brick: success注意现在这个replica后面跟的数量一定是大于1的查看当前fuzhi卷的信息，可以发现已经把# gluster volume info fuzhi
Volume Name: fuzhi
Type: Replicate
Volume ID: 0bc17a47-c255-403e-b407-8ed6cdde136e
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server2:/data/fuzhi_b2
Brick2: server3:/data/fuzhi_b3
Options Reconfigured:
features.inode-quota: on
features.quota: on
performance.readdir-ahead: on 现在执行节点健康检查
# gluster volume heal fuzhi
现在可以看到server3上的数据已经同步过来了
# ls
0 101 103105107 10911013 151719
100102 104106108 11 12 14 161820
但是这样恢复有个问题，那就是server3不会自动同步数据必须执行
gluster volume heal fuzhi才会同步
（注：替换磁盘的方法是本人自己想法，可能不正确，欢迎大家纠正！）
glusterfs的常用命令
gluster peer
帮助 gluster volume create help
本次把sdb1挂在到了/date/下
卷的类型
哈希卷 gluster volume create haxi server1:/data/haxi_b1 server2:/data/haxi_b2 force
复制卷 gluster volume create fuzhi replica 2 server1:/data/fuzhi_b1 server2:/data/fuzhi_b2
条带卷 gluster volume create tiaodai stripe 2 server1:/data/tiaodai_b1 server2:/data/tiaodai_b2
哈希条带复制卷gluster volume create hxfz server1:/data/hxfz_b1 server2:/data/hxfz_b1 server1:/data/hxfz_b2 server2:/data/hxfz_b2 force
增加节点
gluster peer probe ip/主机名
删除节点
gluster peer detach ip/主机名
查看节点状态
gluster peer status
为哈希卷扩容
gluste volume add-brick卷的名字 servername:/brick的位置
为哈希卷缩小空间
gluster volume remove-brick 卷的名字 servername:/brik的位置 start
gluster volume remove-brick 卷的名字 servername:/brick的位置 commit -->此时会丢失数据
为复制卷扩容
gluster volume add=brick 卷的名字 replica 2 servername:/brick的位置servername:/brick的位置 start
为复制卷缩小空间
gluster volume remove-brick 卷的名字 replica 2 servername:/brick的位置 servername:/brick的位置 start
gluster volume remove-brick 卷的名字 servername:/brick的位置servername:/brick的位置 commit
负载均衡
命令格式
volume rebalance 卷的名字 fix-layout start
数据监控检测以及修复
gluster volume heal 卷的名称
磁盘配额
gluster volume quota 卷的名字 limit-usage 路径 限额大小
页:
[1]