将Hadoop映射为本地文件系统

rhces

　　使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统.
　　而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.
　　而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.
　　一、为hadoop的hdfs实现webdav协议
　　1.Webdav协议介绍:
　　WebDAV（Web-based Distributed Authoring and Versioning）是基于 HTTP 1.1 的一个通信协议。
　　它为 HTTP 1.1 添加了一些扩展（就是在 GET、POST、HEAD 等几个 HTTP 标准方法以外添加了一些新的方法），
　　使得应用程序可以直接将文件写到 Web Server 上，并且在写文件时候可以对文件加锁，写完后对文件解锁，
　　还可以支持对文件所做的版本控制。
　　2.项目介绍：
　　本项目是一个hadoop namenode server的webdav协议访问代理,实现 client => hdfs-webdav proxy => hadoop namenode server的中间层.
　　项目修改自tomcat的WebdavServlet,实现了WebDAV level 2协议.
　　3、项目下载：
　　http://hdfs-webdav.googlecode.com/files/hdfs-webdav.war
　　4.项目部署
　　将hdfs-webdav.war部署到tomcat中，tomcat自动将其解压
　　修改hdfs-webdav.war里面的WEB-INF/classes/hadoop-site.xml
　　
　　
　　
　　
　　
　　fs.default.name
　　hdfs://192.168.0.210:9000/
　　namenode
　　
　　
　　
　　hadoop.job.ugi
　　hadoop,root
　　UserGroupInfomation,value=user,group
　　
　　
　　替换hadoop-xxxx-core.jar版本
　　由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.18.1-core.jar的版本
　　例如：
　　删除hadoop-0.18.1-core.jar
　　拷贝hadoop-0.20.2-core.jar（不需要将其重命名为hadoop-0.18.1-core.jar）
　　5、部署在其它服务器中时需要tomcat的catalina.jar与tomcat-coyote.jar,拷贝至WEB-INF/lib目录,因为现在项目是从tomcat的WebdavServlet中修改而来的
　　6、测试是否部署成功
　　访问http://localhost:8080/hdfs-webdav
　　二、将实现了webdav协议的hdfs映射为本地文件夹
　　1、window网上邻居访问
　　打开“网上邻居”，添加网上邻居，在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.
　　http://192.168.0.210:8080/hdfs-webdav
　　然后按照向导的提示继续下一步就可以了.
　　2、Linux mount WebDav为本地文件系统
　　linux下相要mount WebDAV server为本地文件系统,必须要使用davfs2,项目网址:http://dav.sourceforge.net/
　　安装davfs2请使用编译安装
　　davfs2编译时依赖于neon,neon是一个WebDAV client library. neon网址http://www.webdav.org/neon/   (无需下载，项目hdfs-webdav.war自带)
　　dsvfs2在mount时会使用fuse或是coda这两个文件系统,其中一个文件系统linux一般都有自带,davfs2在mount时会首先尝试使用fuse,失败时再使用coda
　　但在Asianux3.0中需要fuse, fuse网址http://fuse.sourceforge.net/   (无需下载，项目hdfs-webdav.war自带)
　　项目hdfs-webdav.war解压后的linux_mount_lib目录已经自带了这三个包（其中neon和fuse可以直接使用，但是davfs2-1.3.3.tar.gz要替换成davfs2-1.4.6.tar.gz）
　　分别对neon,davfs2,fuse编译安装
　　1.运行./configure
　　2.运行make
　　3.运行make install
　　运行davfs2的mount命令
　　在mount之前,davfs2需要创建davfs2用户及用户组
　　mkdir /data/hdfs
　　groupadd davfs2
　　useradd -g davfs2 davfs2
　　mount -t davfs  http://http://192.168.0.210:8080/hdfs-webdav   /data/vhdfs -o uid=lamfire,gid=root,dir_mode=775
　　上面命令实际调用的是mount.davfs http://192.168.0.210:8080/hdfs-webdav /vhdfs
　　如果有用户名密码会要求输入.
　　取消挂载:umonut  /data/vhdfs
　　三、对本地文件夹“/vhdfs/”的操作，马上会同步到hdfs,反之亦然。
　　本文转自http://hayash.blog.163.com/blog/static/1110517201081613941237/