GlusterFS复制卷修复功能测试分析--brick文件丢失

233123

0、测试环境
GlusterFS 3.6.4/3.6.7/3.6.9
CentOS 6.7/7.1


1、测试用例及结果一
假设A、B副本主机，C客户机，C挂载到A。
先通过C在卷中创建1到99文件。
测试一：
        A上删除 rm -f 2*，A执行heal full，看是否恢复，如果不行，再在B上执行heal full，A上看文件是否恢复。操作期间不要在C上ls。
        A上删除 rm -f 3*，只在C上ls，C上看是否有3*，A上看是否恢复。

测试二：
        A上删除 rm -f 4*，同时删除对应gfid文件。A执行heal full，看是否恢复，如果不行，再在B上执行heal full，A上看文件是否恢复。操作期间不要在C上ls。
        A上删除 rm -f 5*，同时删除对应gfid文件。只在C上ls，C上看是否有5*，A上看是否恢复。
       
测试三：
        B上删除 rm -f 6*，A执行heal full，看是否恢复，如果不行，再在B上执行heal full，B上看文件是否恢复。操作期间不要在C上ls。
        B上删除 rm -f 7*，只在C上ls，C上看是否有7*，B上看是否恢复。

测试四：
        B上删除 rm -f 8*，同时删除对应gfid文件。A执行heal full，看是否恢复，如果不行，再在B上执行heal full，B上看文件是否恢复。操作期间不要在C上ls。
        B上删除 rm -f 9*，同时删除对应gfid文件。只在C上ls，C上看是否有9*，B上看是否恢复。
       
测试结果：
        实验一
        可以C 上可以看到3* 其它都不行

        实验二
        可以C 上可以看到5* 其它都不行

        实验三
        1. 可以恢复6*
        2. B上没有恢复 且C看不到7*

        实验四
        1. 可以恢复8*
        2. B上9*没有恢复 且C看不到9*

       
2、测试用例及结果二
再补充两个测试用例，这两个需要恢复快照，保证环境纯净可靠后再分别执行。

假设A、B副本主机，C客户机，C挂载到A。
先通过C在卷中创建1到99文件。
场景一：
        A上删除 rm *，A执行heal full，看是否恢复，如果不行，再在B上执行heal full，A上看文件是否恢复。如果不行再在C上ls，看C上是否能看到文件。
        如果还不行，重启A上glusterd服务，然后再执行上述操作看结果。


假设A、B副本主机，C客户机，C挂载到A。
先通过C在卷中创建1到99文件。
场景二：
        B上删除 rm *，同时删除对应gfid文件。A执行heal full，看是否恢复，如果不行，再在B上执行heal full，B上看文件是否恢复。如果不行再在C上ls，看C上是否能看到文件。
        如果还不行，重启B上glusterd服务，然后再执行上述操作看结果。

       
测试结果：
        场景一
                C上看到文件，其它都不行
        场景二
                都不行


3、测试总结-副本文件丢失修复

当复制卷中的副本文件被不小心删除（同时删除对应的gfid文件）后，可以通过

gluster volume heal VOLNAME full

命令来修复，如果不加full参数，则不会检测到丢失的副本，不进行副本修复操作。

当一个副本丢失后，客户端可能看到丢失的文件，也可能看不到丢失的文件，取决于挂载的主机位置。

    当仍能看到丢失的文件时：

        虽然能看到丢失的文件，但此时的ls或ls -l并不能恢复副本，当再次对丢失的文件进行修改操作时，副本文件才会被修复。

    当不能看到丢失的文件时：
        1）重新挂载会修复丢失的副本，修复后，客户端可以看到全部文件。显然线上系统通常不能这样操作。

        2）后台执行gluster volume heal VOLNAME full命令可以修复丢失副本文件，同时让客户端再次看到丢失的文件。

暗文件说明

[url=]在复制卷情况下，假设有两个[/url]brick做成的volume，当在其中一个brick上删除一个文件file（不删除对应的gfid文件）时，有可能导致（两个副本，删除其中一个副本会导致，但具体哪个副本暂不确定，也有可能是非挂载点的副本）客户端看不到该文件，此时的情况是：

    客户端看不到file；其中一个brick上有file；另外一台上无file。

    此时，执行gluster volume heal full自我修复操作，效果和上面描述一样，客户端无法看到该文件，此时的file称之为暗文件。

    客户端重新挂载法修复（有时重新挂载可以修复，需要考虑最坏情况）。

    服务器端heal full无法修复。

如何恢复暗文件？

• 在客户端执行ls file操作。此时服务器端的file也会自动恢复。
  
  
  • 这样做的前提是，必须知道丢失的文件名，否则无法恢复。
    
  • 未恢复前，客户端对file进行touch、写等操作都能正常进行，当执行一次后，服务端文件会自动恢复，前提还是必须知道文件名。
    
    
• 服务器端之利用用cp机制恢复。
  
• 客户端重新挂载法修复（有时重新挂载可以修复，需要考虑最坏情况）。
  
  

出现暗文件是非常糟糕的事情，在线上很难确定哪些副本丢失，重新挂载基本也是不予许的，所以要尽量避免此类情况出现。