Hadoop分布式文件系统模拟桩HDFS_MOCK

王艳玲

　　简介
　　Hdfs_mock属于单测工具，如果c/c++模块以API方式访问hdfs（相对于脚本模块会使用客户端方式），那么有了hdfs_mock就可以在没有真实hdfs情况下，协助进行手工或自动化测试。
　　背景
　　在linkcache模块单元测试（持续集成）时，遇到了一个问题：该模块会以API方式进行hdfs上文件的增删改查等操作，先不说搭建hdfs是一件费时费力得不尝试的事情，即使在单测阶段能够采用搭建真实环境进行测试，仍然存在以下弊端：
　　· 异常测试：hdfs异常情况难于模拟，导致测试覆盖不全面
　　· 执行时间：访问真实hdfs，自动化测试执行时间难以保证，给快速持续集成带来挑战
　　· 环境维护：为了支持持久、频繁的持续集成测试，hdfs环境需要始终维持不能变动
　　· 环境独立：hdfs环境需要与其他测试模块隔离，才能避免相互影响
　　思路
　　分析模块执行过程后发现，c/c++模块在使用API访问hdfs时，采用共享对象so的方式实现。编译时包含标准hdfs.h头文件，运行时查找libhdfs.so中API的实现来完成hdfs访问过程。基于以上分析，设计开发了单测工具hdfs_mock用以替代libhdfs.so，其具有以下特点：
　　· 异常测试：支持从外部设置hdfs内部状态，能够构造各种异常情况进行测试
　　· 执行时间：内部以本地文件系统方式实现，无网络通信代价，执行速度快
　　· 环境维护：因为mock so动态加载，所以使用方面直接拷贝本so即可，易于使用维护
　　· 环境独立：本地按照hdfs主机名分子目录独立维护数据，彼此间不受影响
　　· 其他：支持标准hdfs API（linkcache使用的10个API函数）
　　设计
　　在没有使用hdfs_mock时的测试过程如下图所示：
　　apache提供的标准hdfs API包含hdfs.h和hdfs.c，编译后生成libhdfs.so。
　　rd开发linkcache部分代码（HdfsFile.h/HdfsFile.cpp）依赖需要include hdfs.h，在libhdfs.so存在时编译生成libfile.so；运行时以动态方式加载并调用执行libhdfs.so中的代码，输出结果result
　　qa开发测试代码test_HdfsFile.cpp依赖rd代码，在libfile.so存在时编译生成test_HdfsFile程序，执行该测试程序时，同样以动态方式加载并调用执行libfile.so中代码，根据测试结果输出测试报告Test result
　　· hdfsmock_old.JPG:

　　在使用hdfs_mock后的测试过程如下图所示：
　　设计开发了hdfs_mock（hdfs_mock.h/hdfs_mock.cpp），include了apache标准hdfs.h以使得接口报纸一致，编译后生成libhdfs.so（图中黄色方框）。其余步骤不变，唯一区别在于，测试执行时，libfile.so所动态加载并调用执行的hdfs API改成了hdfs_mock中的实现了。在hdfs_mock中使用本地文件系统访问替代了hdfs访问以达到模拟API的效果；此外在运行时，也可根据需要在test_HdfsFile中直接调用mock的libhdfs.so中方法来达到设置测试环境（状态、数据）的目的。
　　· hdfsmock.JPG:

　　使用方式
　　下面是一个简单使用的例子，配置hdfs为正常状态，然后调用被测函数HDFSSystem::Init链接hdfs成功
　　QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance();
　　mock->resetStat();
　　mock->_M_stat = QS_TEST_HDFS_STAT_OK;
　　ASSERT_TRUE(HDFSSystem::Init("yx-namenode-v.yx01.baidu.com",64310,"anchorchecker","**"));
　　下面的简单跟上例是一组，只是配置hdfs为异常状态，然后调用被测函数HDFSSystem::Init链接hdfs失败
　　QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance();
　　mock->resetStat();
　　mock->_M_stat = QS_TEST_HDFS_STAT_SHUTDOWN;
　　ASSERT_FALSE(HDFSSystem::Init("yx-namenode-v.yx01.baidu.com",64310,"anchorchecker","**"));
　　下面是稍微复杂一点的例子，首先调用hdfs_mock的createHdfsFile接口，在hdfs_mock上模拟建立testfile文件，内容为给定buf开始的NUM个字节，然后构造HdfsFile对象Open打开testfile文件，最后是调用被测函数hf->Read()读取文件内容与标准数据进行比较
　　// 构造测试环境
　　uint32_t NUM = 1024U;
　　char* buf = createNumChar(NUM);
　　QA_TEST_HDFS_MOCK::QA_TEST_HDFS_MOCK* mock = QA_TEST_HDFS_MOCK::getInstance();
　　mock->createHdfsFile("db-testing-ps7002.db01", "./home/spider/testdir/testfile", buf, NUM); // hdfs_mock提供的辅助接口
　　// 构造被测对象
　　const string fp("hdfs@db-testing-ps7002.db01/home/spider/testdir/testfile");
　　HdfsFile* hf = new HdfsFile(fp);
　　hf->Open(O_RDONLY);
　　// 调用被测函数
　　char rcvBuf[4096];
　　ASSERT_EQ((ssize_t)NUM, hf->Read(rcvBuf, 4096));
　　// 测试结果检查
　　ASSERT_STREQ(buf, rcvBuf);
　　(作者：shaanlan)
【本文首发于：百度测试技术空间】http://hi.baidu.com/baiduqa/blog/item/5bfab4153a6aa7184b90a76f.html【关注百度技术沙龙】