GlusterFS卷类型及数据分布分析

枫叶飞翔

　　    Glusterfs支持七种Volume，即Distribute卷、Stripe卷、Replica卷、Distribute stripe卷和Distribute replica卷，Distribute Stripe， Replica Volume卷这七种卷可以满足不同应用对高性能、高可用的需求。
　　基本卷：
　　(1)  distribute volume：分布式卷
　　(2)  stripe volume：条带卷
　　(3)  replica volume：复制卷
　　复合卷：
　　(4)  distribute stripe volume：分布式条带卷
　　(5)  distribute replica volume：分布式复制卷
　　(6) stripe replica volume：条带复制卷
　　(7) distribute stripe replicavolume：分布式条带复制卷
　　数据分布：
　　1、Distributed volume
　　2、Stripe volume
　　3、Replicated volume
　　4、distribute stripe volume
　　5、distribute replica volume
　　6、stripe replica volume
　　7、distribute stripe replica volume
　　

　　基本卷：
　　(1)  distribute volume：分布式卷
　　文件通过hash算法分布到所有brick server上，这种卷是glusterfs的基础和最大特点；实只是扩大的磁盘空间，如果有一个磁盘坏了，对应的数据也丢失，文件级RAID 0，不具有容错能力。
　　(2)  stripe volume：条带卷
　　类似RAID0，文件分成数据块以Round Robin方式分布到brick server上，并发粒度是数据块，支持超大文件，大文件性能高；
　　(3)  replica volume：复制卷
　　文件同步复制到多个brick上，文件级RAID 1，具有容错能力，写性能下降，读性能提升。
　　复合卷：
　　(4)  distribute stripe volume：分布式条带卷
　　brickserver数量是条带数的倍数，兼具distribute和stripe卷的特点；
　　(5)  distribute replica volume：分布式复制卷
　　brickserver数量是镜像数的倍数，兼具distribute和replica卷的特点,可以在2个或多个节点之间复制数据。
　　(6) stripe replica volume：条带复制卷
　　类似RAID 10
　　同时具有条带卷和复制卷的特点
　　(7) distribute stripe replicavolume：分布式条带复制卷
　　三种基本卷的复合卷
　　通常用于类Map Reduce应用
　　1、Distributed volume
　　在该模式下，并没有对文件进行分块处理，文件直接存储在某个server节点上。“没有重新发明轮子”，这句话很好的概括了这种GlusterFS的设计思路。因为使用了已有的本地文件系统进行存储文件，所以通用的很多linux命令和工具可以继续正常使用。这使得GlusterFS可以在一个比较稳定的基础上发展起来，也更容易为人们所接受。因为需要使用到扩展文件属性，所以其目前支持的底层文件系统有：ext3、ext4、ZFS、XFS等。
　　由于使用本地文件系统，一方面，存取效率并没有什么没有提高，反而会因为网络通信的原因而有所降低；另一方面，支持超大型文件会有一定的难度。虽然ext4已经可以支持最大16T的单个文件，但是本地存储设备的容量实在有限。所以如果有大量的大文件存储需求，可以考虑使用Stripe模式来实现，如考虑新建专门存储超大型文件的stripe卷。
　　
　　
　　功能：
　　将文件存放在服务器里，如上图，File1和File2存放在server1，而File3存放在server2，文件都是随机存储
　　2、Stripe volume
　　其实Stripe模式相当于raid0，在该模式下，系统只是简单地根据偏移量将文件分成N块（N个stripe节点时），然后发送到每个server节点。server节点把每一块都作为普通文件存入本地文件系统中，并用扩展属性记录了总的块数（stripe-count）和每一块的序号（stripe-index）。stripe数必须等于volume中brick所包含的存储服务器数，文件被分成数据块，以Round Robin的方式存储在bricks中，并发粒度是数据块，大文件性能好

　　功能：
　　将文件存放在不同服务器里，如上图，File被分割为6段，1、3、5放在server1，2、4、6放在server2
　　3、Replicated volume
　　Replicated模式，也称作AFR（AutoFile Replication），相当于raid1，即同一文件在多个镜像存储节点上保存多份，每个replicated子节点有着相同的目录结构和文件。replicated模式一般不会单独使用，经常是以“Distribute+ Replicated”或“Stripe+ Replicated”的形式出现的。如果两台机的存储容量不同，那么就如木桶效应，系统的存储容量由容量小的机器决定。replica数必须等于volume中brick所包含的存储服务器数，可用性高。创建一个两两互为备份的卷，存储池中一块硬盘损坏，不会影响到数据的使用，最少需要两台服务器才能创建分布镜像卷。
　　Replicated模式是在文件的级别上进行的（相比较于HDFS），而且在创建卷volume时就确定每个server节点的职责，而且只能人工的进行调整。这样的话就相对的不灵活，如果一个节点A出了问题，就一定要用新的节点去替代A，否则就会出现一些问题隐患。
　　在Replicated模式下，每个文件会有如下几个扩展属性：
　　读写数据时，具体的情况如下：
　　读数据时：系统会将请求均衡负载到所有的镜像存储节点上，在文件被访问时同时就会触发self-heal机制，这时系统会检测副本的一致性（包括目录、文件内容、文件属性等）。若不一致则会通过changelog找到正确版本，进而修复文件或目录属性，以保证一致性。
　　写数据时：以第一台服务器作为锁服务器，先锁定目录或文件，写changelog记录该事件，再在每个镜像节点上写入数据，确保一致性后，擦除changelog记录，解开锁。
　　如果互为镜像的多个节点中有一个镜像节点出现了问题，用户的读/写请求都可以正常的进行，并不会受到影响。而问题节点被替换后，系统会自动在后台进行同步数据来保证副本的一致性。但是系统并不会自动地需找另一个节点来替代它，而是需要通过人工新增节点来进行，所以管理员必须及时地去发现这些问题，不然可靠性就很难保证。
　　
　　

　　功能：
　　将文件存放在服务器里，如上图，File1同时存在server1和server2，File2也是如此，相当于server2中的文件是server1中文件的副本。
　　4、distribute stripe volume
　　分布式的条带卷，volume中brick所包含的存储服务器数必须是stripe的倍数(>=2倍)，兼顾分布式和条带式的功能。每个文件分布在四台共享服务器上，通常用于大文件访问处理，最少需要 4 台服务器才能创建分布条带卷。

　　功能：
　　将文件存到不同服务器里，如上图，File被分割成4段，1、3在server1(exp1)中，2、4在server1(exp2)中。server2(exp3)1、3存放server1(exp1)中的备份文件，server2(exp4)2、4存放server1(exp2)中的备份文件。
　　5、distribute replica volume
　　分布式的复制卷，volume中brick所包含的存储服务器数必须是 replica 的倍数(>=2倍)，兼顾分布式和复制式的功能。

　　功能：
　　将文件备份随机存放在服务器里，如上图，server1(exp1)存放File1文件，Server1(exp2)存放File2文件。server2(exp3)存放File1的备份文件，server2(exp4)存放File2的备份文件。
　　6、stripe replica volume
　　
　　

　　功能：
　　将文件分割并备份随机存放在不同的服务器里，如上图，File被分割4段，1、3存放在server1(exp1)上，2、4存放在server2(exp4),server1上的(exp3)存放server2(exp4)的备份文件，server2上的(exp2)存放server1(exp1)的备份文件。
　　7、distribute stripe replica volume
　　分布式条带复制卷分布条带数据在复制卷集群。为了获得最佳效果，你应该使用分布在高并发的条带复制卷环境下并行访问非常大的文件和性能是至关重要的。

　　功能：
　　将文件分割并备份随机存放在不同服务器里，如上图，File被分割成4段，1、3存放在server1(exp1)中，2、4存放在server2(exp3)中。server1(exp2)存放server1(exp1)的备份文件，server2(exp4)存放server2(exp3)的备份文件。
　　

　　参考资料：
　　http://www.gluster.com/products/gluster-file-system-architecture-white-paper/
　　http://www.gluster.com/products/performance-in-a-gluster-system-white-paper/
　　http://gluster.com/community/documentation/index.php/Main_Page
　　http://blog.csdn.net/liuaigui/