CentOS5.8 上 glusterfs 安装手册
版本历史 时间
版本
说明
编写者
2014-11-19 1.1 CentOS 5 上 glusterfs 安装手册 csc
武汉****技术有限公司
前提： centos 5.8 标准系统安装，必须安装开发包和开发库 如果没有 bison flex 则需要安装。 yum install bison flex 一、安装篇 源代码安装方案： 1. 安装python2.6.5 wgethttp://www.python.org/ftp/python/2.6.5/Python-2.6.5.tar.bz2 tar jxvf Python-2.6.5.tar.bz2 cd Python-2.6.5 ./configure --enable-shared 支持 64bit make make install 将系统默认的 python 指向到 2.6 版本 #mv/usr/bin/python /usr/bin/python.bak （或者 rm -rf /usr/bin/python ） #ln -s/usr/local/bin/python2.6 /usr/bin/python vi /etc/ld.so.conf 添加 /usr/local/lib 执行： ldconfig -v # python -V Python 2.6.5 python 升级后， yum 不能使用，请修改如下： # vi /usr/bin/yum #!/usr/bin/python2.4 。。。 2. 安装fuse tar xvzf fuse-2.8.7.tar.gz cd fuse-2.8.7 ./configure make make install fuse 测试并检查 lsmod | grep fuse 假如没有 , 使用命令 modprobe fuse lsmod | grep fuse echo "modprobefuse" >>/etc/rc.local 3. 安装glusterfs tar xvzf glusterfs-3.5.3.tar.gz cd glusterfs-3.5.3 ./configure --prefix=/usr/local/glusterfs ###################################################### make 之前更改 /glusterfs-3.5.3/contrib/qemu/util/oslib-posix.c 第 175 行增加： #undef CONFIG_PIPE2 第 1 行增加： #define UTIME_OMIT ((1l /etc/rc.local 4.启动服务： 3.RPM客户端安装： 1.安装gluster client RPM包 2.加载 fuse modprobe fuse lsmod | grep fuse echo "modprobefuse" >>/etc/rc.local 3.挂载GlusterFS卷到指定目录(/res) 二、配置篇（ replica 模式） 1 、服务器信息： 测试服务器： 4 台 ip:192.168.1.1-192.168.1.4 服务端、客户端都需要进行 《一、安装篇》部署， 客户端不需要启动 glusterd 服务 2 、建立分区或磁盘挂在目录 4 台服务器都需要创建： mkdir-p /brick1 3 、挂在分区或磁盘到目录 所有节点执行挂载，分区或磁盘容量要尽量一致（对于 replica模式的卷尤为重要，这种模式下会以容量小的分区或磁盘为准） )加入开机启动挂载（例子）： vi /etc/fstab ...... /dev/ sda1 /brick1 ext3 defaults 0 0 也可直接在本地创建目录 , 不过不好控制磁盘的大小 mkdir /brick1 4 、修改 /etc/hosts 文件（可省略） 加入各节点机器名与 IP 对应关系 在其他节点做相同操作 5 、建立 peer 关系 (192.168.1.1 上操作 ) gluster gluster>peer probe 192.168.1.2 gluster>peer probe 192.168.1.3 gluster>peer probe 192.168.1.4 ( 以上操作在一台服务器上操作即可，状态将同步到其他服务器 ) gluster>peerprobe (ip) （后续增加节点时使用） gluster>peerdetach (ip) ( 后续删除节点时使用 ) 可以使用 参数 force gluster>peer status 对等体状态 NumberofPeers: 3 Hostname:192.168.1.2 Uuid:67d37243-4332-4324-b497-92cf3d4fa2c1 State:Peerin Cluster (Connected) Hostname:192.168.1.3 Uuid:0e8f17ba-c061-4537-ac3a-f625600c6663 State:Peerin Cluster (Connected) Hostname:192.168.1.4 Uuid:66149333-6235-4bcc-82ae-b2fd011794db State:Peerin Cluster (Connected) 6 、建立卷 (192.168.1.1 上操作 ) gluster gluster>volume create gv0 replica 2 192.168.1.1:/brick1 192.168.1.2:/brick1 建立卷时有三种模式： Stripe （ RAID0 ）、 Replicate （ RAID1 ）和 DHT （分布式 Hash ），默认是 DHT, 后边跟的数字意思是几个为 1 组，此示例中为 2 个为一组建立 replica 卷，类似 RAID1 。 ## 如果直接在 / 分区建立的文件夹，会提示 /root 分区警告，则需要加上 force gluster>volume create gv0 replica 2 10.8.9.13:/brick1 10.8.9.107:/brick1 force 7 、向卷中添加 brick(192.168.1.1 上操作 ) gluster>volumeadd-brick gv0 192.168.1.3:/brick1 192.168.1.4:/brick1 可在动态在线增加 brick 若是副本卷，则一次添加的 Bricks 数是 replica 的整数倍； stripe 具有同样的要求 我的动态增加方法（指定两个 IP 做主备） gluster>volume add-brickgv0 replica 2 10.8.9.115:/brick1 10.8.9.118:/brick1 force 在线增加 brick 后，还需重新平衡各节点数据。 gluster>volume rebalance gv0 start 开始平衡 startingrebalanceon volume gv0 has been successful gluster>volume rebalance gv0 status rebalancestep1: layout fix in progress gluster>volumerebalance gv0 status rebalancecompleted 重新平衡完成 查看卷信息： gluster> volume info 8 、启动卷 gluster>volumestart gv0 查看卷信息： gluster>volume info 卷停止 gluster>volume stop gv0 将创建的卷启动，才能进行客户端挂载； stop 能够将系统卷停止，无法使用；此外 gluster 未提供 restart 的重启命令 #gluster>volume delete gv0 # 删除卷 // 删除卷操作能够将整个卷删除，操作前提是需要将卷先停止 9 、客户端挂载 由于安装包时，安装了 gluster 客户端，所以测试机同时担当客户端 / 服务器的角色， 也建议在分布式文件系统这样使用。 mount-t glusterfs 192.168.1.1:/gv0 /data 备注： 客户端可任意挂载各节点 IP 地址， gv0 的数据都是一样的 各节点均可挂载自己 ip 地址，这也符合 gluster 的设计思想，无元数据服务器，无单点故障。 Mount failed. Please check the log file for more details. 如果报错，则要加载 fuse 至此， gluster 的配置及初期使用已经介绍完毕，配置使用极为简单，理念及步骤清晰，但要想提升性能及在生产环境中使用，还需进一步的测试及优化。 三、测试篇 我的实际环境部署： 在原有的 4 台节点上，再增加两节点，互为 replica 模式，一共 6 节点： gluster> volumeinfo Volume Name: gv0 Type:Distributed-Replicate Volume ID: caa12bc8-31eb-49ca-bd86-cbd31771b010 Status: Started Number of Bricks: 3 x 2 = 6 #3 个 Bricks , 每个 bricks 还有一个备 bricks 互为 replica 2 模式 Transport-type:tcp Bricks: Brick1:10.8.9.13:/brick1 Brick2:10.8.9.107:/brick1 Brick3:10.8.9.115:/brick1 # 新增加 Brick4: 10.8.9.118:/brick1 # 新增加 Brick5:10.8.9.112:/brick1 Brick6:10.8.9.114:/brick1 测试一： 客户端挂载 glusterfs 10.8.9.115 节点，上传总共 5G 小文件 发现 5G 小文件被均匀打散，分布在以上六台服务器的 /brick1 目录 查看每个节点的 /brick1 目录，发现： 10.8.9.13 和 10.8.9.107 的 /brick1 每个文件目录大小一样 1.2G 10.8.9.115 和 10.8.9.118 的 /brick1 每个文件目录大小一样 2G 10.8.9.112 和 10.8.9.114 的 /brick1 每个文件目录大小一样 1.8G 以上 3 组服务器 /brick1 目录文件合计 5G 测试二： 客户端挂载 glusterfs 10.8.9.115 节点，上传一个 5G 的大文件 test.img 发现 test.img 只存在 10.8.9.115 和 10.8.9.118 的 /brick1 目录 其他服务器没有该文件。 总结： 在 replica 模式下，增加节点，可以增加整个分布式文件系统的存储总量，并且提升整个文件存储系统的性能，其中的 replica 模式还能实现数据的高可用性。 replica 模式下，不进行对大文件的切割，而是存放在其中一组节点（客户端连接的节点优先）。 四、节点删除、修复篇 10.8.9.115 和 10.8.9.118 节点互为 replica 模式 移除其中一节点测试： gluster>peerdetach (ip) ( 后续删除节点时使用 ) 可以使用 参数 force 报错： gluster> peer detach 10.8.9.115 peer detach: failed: Brick(s) with the peer 10.8.9.115exist in cluster 可使用 force 删除。 ( 正常环境下，不建议强制删除，这里为了测试所以用 force) gluster> peer detach 10.8.9.115 force gluster> peer status Hostname: 10.8.9.115 Uuid: cef74bc3-64ba-4f74-8a56-113e63eb467d State: Peer in Cluster (Disconnected) 利用命令移除 10.8.9.115 节点后，客户端执行命令 du -sh /data 挂载的数据大小不变。 客户端 上传数据后， 10.8.9.118 /brick1 目录 数据比 10.8.9.115 /brick1 多 10M 重新添加节点 10.8.9.115 , gluster>peer probe 10.8.9.115 查看连接状态正常： gluster> peer status 过一段时间后， 10.8.9.118 /brick1 目录 数据 和 10.8.9.115 /brick1 数据一样 另外： 如果在 10.8.9.115 服务停掉后， rm -rf /brick1/* 发现 /brick1/ 下面有个 .glusterfs 是用来恢复数据用的，启动节点后，数据直接从 .glusterfs 里面恢复。 删除一组节点测试 关闭两台服务器系统 10.8.9.115 10.8.9.118 节点。 或者 强制删除两个节点。 客户端执行 du -sh /data 挂载的数据总大小减少 50G 。客户端挂载的目录里面文件一部分丢失。 该步骤主要测试： 其中一组（主备）服务器丢失后，数据的完整性。 重新增加这两台节点，或者系统重启，打开 cluster 服务， gluster> peer status 显示的节点数都正常连接后，客户端 执行： du -sh /data 挂载的数据总大小恢复。 客户端连接节点测试（） 客户端连接 10.8.9.115 直接关闭节点 10.8.9.115 系统， 查询节点状态出于失效状态： Hostname: 10.8.9.115 Uuid:2886b235-0983-42a9-a7dc-8b27c5813625 State: Peer inCluster (Disconnected ) 客户端 df -h 查询： glusterfs#10.8.9.115:/gv0 148G 7.5G 133G 6% /data 上传 1G 的数据，发现数据尽然能上传，并且数据已经分布到其他的节点。 说明，客户端利用 glusterfs 挂载目录，连接的节点不存在单点故障。 五、扩容、缩减篇 缩减节点步骤： 系统的扩容及缩容可以通过如上节点管理、 Brick 管理组合达到目的。 (1) 扩容时，可以先增加系统节点，然后添加新增节点上的 Brick 即可。 (2) 缩容时，先移除 Brick ，然后再进行节点删除则达到缩容的目的，且可以保证数据不丢失 1. 移除 brick 若是副本卷，则移除的 Bricks 数是 replica 的整数倍； stripe 具有同样的要求。 因此，副本卷 （ replica 2 模式）需要移除一对 brick ， 数据会移动到其他的节点上。 gluster> volume remove-brick gv0 10.8.9.112:/brick1 10.8.9.114:/brick1 查看状态 gluster> volume remove-brick gv0 10.8.9.112:/brick1 10.8.9.114:/brick1 status 2. 移除节点： gluster>peer detach 10.8.9.112 gluster>peer detach 10.8.9.114 。 ############################################################### 替换 /brick1 1 、先增加一个节点 gluster>peer probe 10.8.9.112 2 、替换步骤 把 10.8.9.115:/brick1 替换到 10.8.9.112:/brick1 替换前状态： gluster>volume info Volume Name: gv0 Type: Distributed-Replicate Volume ID: caa12bc8-31eb-49ca-bd86-cbd31771b010 Status: Started Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: 10.8.9.13:/brick1 Brick2: 10.8.9.107:/brick1 Brick3: 10.8.9.115:/brick1 Brick4: 10.8.9.118:/brick1 2.1 、开始替换 我挂载的目录是一级目录所以提示报错，需要加 force volume replace-brick gv0 10.8.9.115:/brick110.8.9.112:/brick1 start force 2.2 、查看状态： gluster> volume replace-brick gv010.8.9.115:/brick1 10.8.9.112:/brick1 status volume replace-brick: success: Number of filesmigrated = 218 Migration complete 2.3 、 commit 提交替换任务 gluster> volume replace-brick gv010.8.9.115:/brick1 10.8.9.112:/brick1 commit volume replace-brick: success: replace-brick commitsuccessful 替换后状态： gluster> volume info Volume Name: gv0 Type: Distributed-Replicate Volume ID: caa12bc8-31eb-49ca-bd86-cbd31771b010 Status: Started Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: 10.8.9.13:/brick1 Brick2: 10.8.9.107:/brick1 Brick3: 10.8.9.112:/brick1 Brick4: 10.8.9.118:/brick1 客户端上传数据，新节点 10.8.9.112 和 10.8.9.118 的 /brick 目录数据一样，说明 2 台节点互为主备。 移除掉的节点 10.8.9.115 /brick 数据大小，没有发生变化，说明已经被剔除。 这个时候 可以删除节点 10.8.9.115 服务器了 gluster>peer detach 10.8.9.115 peerdetach: success 六、系统运维篇 1 、系统配额 1.1 开启 / 关闭系统配额 # gluster volume quota VOLNAME enable/disable // 在使用系统配额功能时，需要使用 enable 将其开启； disable 为关闭配额功能命令。 1.2 设置 ( 重置 ) 目录配额 # gluster volume quota VOLNAME limit-usage /directorylimit-value #gluster volume quota dht_vol limit-usage /quota 10GB // 如上，设置 dht_vol 卷下的 quota 子目录的限额为 10GB 。 PS ：这个目录是以系统挂载目录为根目录 ”/”, 所以 /quota 即客户端挂载目录下的子目录 quota 1.3 配额查看 # gluster volume quota VOLNAME list # gluster volume quota VOLNAME list /directory name // 可以使用如上两个命令进行系统卷的配额查看，第一个命令查看目的卷的所有配额设置，第二个命令则是执行目录进行查看。 // 可以显示配额大小及当前使用容量，若无使用容量 ( 最小 0KB) 则说明设置的目录可能是错误的 ( 不存在 ) 。 1.4 地域复制、灾备 (geo-replication) # gluster volume geo-replication MASTER SLAVE start/status/stop 地域复制是系统提供的灾备功能，能够将系统的全部数据进行异步的增量备份到另外的磁盘中。 #gluster volume geo-replication dht_vol192.168.2.104:/mnt/sdb1 start // 如上，开始执行将 dht_vol 卷的所有内容备份到 2.104 下的 /mnt/sdb1 中的 task ，需要注意的是，这个备份目标不能是系统中的 Brick 。 1.5 I/O 信息查看 Profile Command 提供接口查看一个卷中的每一个 brick 的 IO 信息。 #gluster volume profile VOLNAME start // 启动 profiling ，之后则可以进行 IO 信息查看 #gluster volume profile VOLNAME info // 查看 IO 信息，可以查看到每一个 Brick 的 IO 信息 # gluster volume profile VOLNAME stop // 查看结束之后关闭 profiling 功能 1.6 Top 监控 Top command 允许你查看 bricks 的性能例如： read, write, file opencalls, file read calls, file write calls, directory open calls, and directoryreal calls 所有的查看都可以设置 top 数，默认 100 # gluster volume top VOLNAME open [brickBRICK-NAME] [list-cnt cnt] // 查看打开的 fd #gluster volume top VOLNAME read [brick BRICK-NAME][list-cnt cnt] // 查看调用次数最多的读调用 #gluster volume top VOLNAME write [brick BRICK-NAME][list-cnt cnt] // 查看调用次数最多的写调用 # gluster volume top VOLNAME opendir [brickBRICK-NAME] [list-cnt cnt] # gluster volume top VOLNAME readdir [brickBRICK-NAME] [list-cnt cnt] // 查看次数最多的目录调用 # gluster volume top VOLNAME read-perf [bsblk-size count count] [brick BRICK-NAME] [list-cnt cnt] // 查看每个 Brick 的读性能 # gluster volume top VOLNAME write-perf [bsblk-size count count] [brick BRICK-NAME] [list-cnt cnt] // 查看每个 Brick 的写性能 gluster 性能优化、报错解决： peer 节点从一个集群，加入到另外一个集群的时候，节点不能启动 glusterd 报错解决方法： [root@server114 glusterfs]# vi/usr/local/glusterfs/etc/glusterfs/glusterd.vol volume management typemgmt/glusterd option working-directory /var/lib/glusterd optiontransport-type socket,rdma optiontransport.socket.keepalive-time 10 optiontransport.socket.keepalive-interval 2 optiontransport.socket.read-fail-log off # optionbase-port 49152 /var/lib/glusterd 里面有 记录信息，删除下面的所有信息，清空历史记录配置文件，服务即可启动 性能调优示例： gluster volume start file-backup
运维网声明
1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003运维网
QQ群⑧：
窥视卡
雷达卡
发表于 2019-2-1 11:17:47
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡