34、【华为HCIE-Storage】--数据重删 & 数据压缩

爱在莫斯科

　　------------------------------------重要说明------------------------------------
　　以下部分内容来网络，部分自华为存储官方教材
　　具体教材内容请移步华为存储官网进行教材下载
　　网络引用内容无法找到原创，如有侵权请通知
　　------------------------------------重要说明------------------------------------
　　SmartDedupe&SmartCompression特性通过删除重复数据或对业务数据进行压缩，减少数据冗余，节省存储空间。
　　l 重删数据块大小：用于指定存储系统进行重删的粒度。重删数据块的大小与文件系统块大小一致。根据业务需要，用户可以在CLI（ Command Line Interface）下运行create file_system general命令创建文件系统时设置不同的文件系统块大小。
　　l 压缩数据块大小：用于指定存储系统进行压缩的粒度。存储系统基于新写入文件系统的数据块大小进行智能合并压缩。
　　l 定长重删：重删过程中，存储系统按照相同的重删数据块大小对文件系统进行重删。
　　l 哈希算法：校验数据块一致性的方法。通过该方法，可以计算出数据块的指纹信息（指纹信息是一个固定长度的二进制数值，与人的指纹类似，可以看成是每个数据块的唯一标识）。当两个数据块的指纹信息一致时，存储系统会认为这些数据块是重复的。
　　l 逐字节比较策略：查找重复数据块时，对哈希算法的补充校验方法。当采用逐字节比较策略时，存储系统除了要对比指纹，还需要逐字节比较数据块中的数据。
　　l 重删元数据：用于保存重删处理相关信息。例如，数据块的指纹信息，重删后数据的存放位置等。
①　重复数据删除

　　1. 存储系统利用哈希算法计算新写入数据块的指纹信息。数据块的划分粒度与文件系统块大小保持一致，且每次重删处理的数据块大小保持一致，实现定长重删。
　　2. 通过指纹信息对比新写入数据块与原有数据块是否重复。
　　– 是 => 存储系统认为新写入的数据与原有数据重复，删除该数据块，并将该数据块的存储位置指向原有数据块的存储位置。
　　– 否 => 存储系统认为新写入的数据是一个新数据块，将新数据块写入硬盘。

②　数据压缩
　　存储系统在进行数据压缩处理时，会根据用户设定的压缩策略进行不同程度的压缩。存储系统支持如下两种压缩策略：
　　Fast： Fast策略是系统默认使用的压缩算法。该算法压缩速度快，但与Deep策略相比压缩后空间节省效率低一些。
　　Deep： Deep策略可以获得空间节省效率的明显提升，但压缩和解压需要花费更长的时间。