Hadoop学习笔记（二）--添加data节点和实现远程挂载HDFS

htbzwd

　　一、添加新的datanode节点
　　修改namenode服务器的上hadoop的配置文件slave，在该文件中添加新加入集群的
　　服务器名称（hostname），并添加在/etc/hosts文件中添加对应的解析项，内容如下：
　　

• [root@namenode~]# cat /etc/hosts
  
• 
  
• 127.0.0.1       localhost.localdomain   localhost
  
• 
  
• ::1             namenode        localhost6.localdomain6 localhost6
  
• 
  
• 192.168.2.9     namenode
  
• 
  
• 192.168.5.55    nagios-server
  
• 
  
• 192.168.2.4     datanode
  

　　

　　修改完成后，将整个hadoop文件的目录和JDK目录复制到新节点（这里是datanode，一下都用datanode来表示）。
　　

• [root@namenode ~]# scp –pr /opt/hadoop 192.168.2.4:/opt/hadoop
  
• [root@namenode ~]# scp –pr /usr/java 192.168.2.4:/usr/java
  

　　

　　修改datanode上面的/etc/hosts文件，如下：
　　

• [root@datanode ~]# cat /etc/hosts
  
• 
  
• 127.0.0.1        localhost.localdomain   localhost
  
• 
  
• ::1              datanode        localhost6.localdomain6 localhost6
  
• 
  
• 192.168.2.9      namenode
  
• 
  
• 192.168.5.55     nagios-server
  
• 
  
• 192.168.2.4      datanode
  

　　

　　配置datanode服务器的环境变量，为了方便这里写入/etc/profile文件（也可以写到对应用户的/home/USER/.bash_profile或者/root/.bash_profile文件中），添加的内容如下：
　　

• export OS_ARCH=amd64
  
• export OS_BIT=64
  
• export JAVA_HOME=/usr/java/jdk1.6.0_14
  
• export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
  
• export ANT_HOME=/usr/local/ant
  
• export PATH=$JAVA_HOME/bin:$PATH
  
• export ZOOKEEPER_INSTALL=/opt/hadoop/zookeeper
  
• export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
  
• export HADOOP_HOME=/opt/hadoop/hadoop
  
• export HADOOP_INSTALL=/opt/hadoop/hadoop
  
• export PATH=$PATH:$HADOOP_HOME/bin
  
• export LANG=zh_CN.GBK
  
• export HIVE_HOME=/opt/hadoop/hive
  
• export PATH=$HIVE_HOME/bin:$PATH:$ANT_HOME/bin
  
• export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:${HADOOP_HOME}/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib
  

　　

　　完成上述操作后，启动datanode服务器上的HDFS
　　

• [root@datanode ~]#start-dfs.sh
  

　　

　　启动后该节点会自动加入之前的hadoop集群。
　　二、WebDav
　　挂载WebDav提供的网络存储，需要安装三个包，分别是：fuse、neon和davfs2
　　1、  编译安装fuse
　　

• [root@datanode src]# tar fvxz fuse-2.8.5.tar.gz
  
• [root@datanode src]# cd fuse-2.8.5
  
• [root@datanode fuse-2.8.5]# ./configure
  

　　

　　如果编译完成后不确定是否正常编译，可以用命令echo $?来获取返回值确认，0表示正常，其它均表示有错误。
　　

• [root@datanode fuse-2.8.5]# make && make install
  

　　

　　2、编译安装neon
　　

• [root@datanode src]# tar fvxz neon-0.29.6.tar.gz
  
• [root@datanode src]# cd neon-0.29.6
  
• [root@datanode neon-0.29.6]# ./configure
  
• [root@datanode neon-0.29.6]# make && make install
  

　　

　　3、编译安装davfs2
　　

　　

• [root@datanode src]# tar fvxz davfs2-1.4.6.tar.gz
  
• [root@datanode src]# cd davfs2-1.4.6
  
• [root@datanode davfs2-1.4.6]# ./configure
  
• [root@datanode davfs2-1.4.6]# make && make install
  

　　

　　4、挂载webdav
　　挂载hdfs需要使用命令mount.davfs，而使用该命令需要davfs2用户，所以先创建该用户：
　　

• [root@datanode~]# useradd davfs2
  

　　

　　之后开始挂载：
　　

• [root@datanode ~]# mount.davfs http://192.168.2.9:8080/hdfs-webdav /hdfs
  
• Please enter the username to authenticate with server
  
• http://192.168.2.9:8080/hdfs-webdav or hit enter for none.
  
• Username: davfs2
  
• Please enter the password to authenticate user davfs2 with server
  
• http://192.168.2.9:8080/hdfs-webdav or hit enter for none.
  
•   Password:
  

　　

　　完成后就可以进入挂载点查看了。祝大家成功
　　Hadoop学习笔记（一）