Hadoop与FTP、HTTP协议的文件存取性能对比试验

jrgf

　　1.实施步骤：
　　a) 编写测试代码，将本地样本文件复制到Hadoop分布式文件系统中；
　　b) 编写测试代码，从Hadoop分布式文件系统中将之前的样本文件取回到本地；
　　c) 编写测试代码，将本地样本文件上传到远程的FTP服务器上（将10.7.111.220作为FTP服务器）；
　　d) 编写测试代码，将远程FTP服务器上的样本文件下载到本地（将10.7.111.220作为HTTP服务器）；
　　e) 编写测试代码，将本地样本文件通过httpclient类库上传到HTTP服务器上；
　　f) 编写测试代码，将HTTP服务器上的文件下载到本地；
　　2.实验结果：
　　操作项目
　　总耗时(ms)
　　平均耗时(ms)
　　Hadoop DFS 复制文件(执行100次)
　　18223
　　182
　　Hadoop DFS 取回文件(执行100次)
　　18459
　　184
　　FTP上传文件(执行100次)
　　24350
　　243
　　FTP下载文件(执行100次)
　　19554
　　195
　　HTTP PUT文件(执行20次)
　　131700
　　6585
　　HTTP GET文件(执行20次)
　　156172
　　7808
　　3.结论：
　　通过上述表格可以明显的得出结论：在实际的应用程序开发中不推荐使用HTTP协议进行远程文件的存取（由于耗时太长，所以只进行了20次的执行），FTP和Hadoop DFS协议都表现出很好的远程文件存取性能，不过做为结构化或非结构化数据的存储方案，我更推荐使用Hadoop DFS，因为Hadoop有更强的水平扩展能力，能够保障平滑的存储空间升级。因此Hadoop DFS完全可以替换FTP成为各种应用程序之间的文件共享实现方案。