GlusterFS 客户端与服务器端仲裁机制对比

yunde110

　　

　　客户端仲裁只适用于副本卷，服务器仲裁适用于所有卷。
　　副本卷个数最好为奇数个，服务器端个数最好为不小于3的奇数。
　　

• 　　客户端仲裁
  

　　客户端仲裁适用于fuse、gfapi、nfs。
　　客户端仲裁功能是在AFR中继器中实现，所以只要该中继器被加载，就能提供客户端仲裁功能。
　　仲裁检测自然由AFR中继器负责。
　　如果检查失败，客户端则无法写入，返回EROFS错误。
　　正在进行写操作会因为板块（brick）数未达到仲裁要求的数量而失败，并且FOP会返回EROFS错误，后续的写操作会返回相同的错误，所以，这种情形下的错误会立即返回，没有等待超时机制。
　　仲裁状态是由客户端看到的活跃的（active）板块（brick）数决定的。
　　

　　具体的规则由quorum-type和quorum-count确定。

Option: cluster.quorum-type Default Value: none Description: If value is "fixed" only allow writes if quorum-count bricks are present.  If value is "auto" only allow writes if more than half of bricks, or exactly half including the first, are present. 如果设置为“fixed”，只允许在quorum-count数量的板块（bricks）在线时写入。 如果设置为“auto”，只允许超过一半的板块在线时写入，或者只允许一半的板块在第一次写入后继续写入。 Option: cluster.quorum-count Default Value: (null) Description: If quorum-type is "fixed" only allow writes if this many bricks or present.  Other quorum types will OVERWRITE this value. 如果quorum-type设置为“fixed”，只允许设置数量的板块（brick）在线时可以写入。 如果quorum-type设置为其他值，设置的quorum-count值无效，会被覆盖。

　　

　　板块（brick）本身会一直存在，除非对应的进程挂了。
　　

• 　　服务器端仲裁
  

　　服务器端仲裁是由glusterd进程执行，但判断的是glusterfsd进程。
　　

　　启用服务器端仲裁：server-quorum-type=server
　　服务器端负责仲裁检测

Option: cluster.server-quorum-type Default Value: (null) Description: This feature is on the server-side i.e. in glusterd. Whenever the glusterd on a machine observes that the quorum is not met, it brings down the bricks to prevent data split-brains. When the network connections are brought back up and the quorum is restored the bricks in the volume are brought back up. 描述：这个功能在服务器端实现，也就是在glusterd进程中。当glusterd检测到服务器端未达到法定人数时，就会停掉brick防止数据裂脑。当网络恢复达到法定人数时，就会恢复对应的brick。 Option: cluster.server-quorum-ratio Default Value: (null) Description: Sets the quorum percentage for the trusted storage pool.

　　

　　仲裁成功的bricks可以继续写入，不成功的bricks会被设置成只读或者直接停掉，当再次仲裁成功上线后，会自动修复数据，因此可以防止裂脑，保证数据一致性性。
　　
　　想深入了解服务器仲裁，可查看服务器仲裁测试方法：http://www.gluster.org/community/documentation/index.php/Features/Server-quorum
　　

• 　　问题
  

　　客户端仲裁与服务器端仲裁那个好？
　　如果启用服务器端仲裁，当出现裂脑情况时，仍然可以将数据写入卷中。服务器端仲裁为了更有效的避免和卷配置冲突，仲裁成为不可写入节点时，禁止执行volume set、peer probe等命令。
　　如果要避免裂脑文件出现在卷中，最好使用客户端仲裁。
　　
　　两种仲裁可以同时使用吗？有什么推荐配置？
　　以我个人愚见，客户端仲裁就足够，但客户端仲裁只能用于复制卷环境。当然，两个仲裁机制可以同时使用。服务器端仲裁会直接干掉brick，干掉的brick甚至还允许进行读访问。
　　
　　

　　翻译总结来自gluster邮件列表：
　　[Gluster-users] Client vs Server Quorum
　　

　　如有错误或不妥之处，欢迎指出讨论。