Hadoop学习笔记（二）--添加data节点和实现远程挂载HDFS
一、添加新的datanode节点修改namenode服务器的上hadoop的配置文件slave，在该文件中添加新加入集群的
服务器名称（hostname），并添加在/etc/hosts文件中添加对应的解析项，内容如下：
[*]# cat /etc/hosts
[*]
[*]127.0.0.1 localhost.localdomain localhost
[*]
[*]::1 namenode localhost6.localdomain6 localhost6
[*]
[*]192.168.2.9 namenode
[*]
[*]192.168.5.55 nagios-server
[*]
[*]192.168.2.4 datanode
修改完成后，将整个hadoop文件的目录和JDK目录复制到新节点（这里是datanode，一下都用datanode来表示）。
[*]# scp –pr /opt/hadoop 192.168.2.4:/opt/hadoop
[*]# scp –pr /usr/java 192.168.2.4:/usr/java
修改datanode上面的/etc/hosts文件，如下：
[*]# cat /etc/hosts
[*]
[*]127.0.0.1 localhost.localdomain localhost
[*]
[*]::1 datanode localhost6.localdomain6 localhost6
[*]
[*]192.168.2.9 namenode
[*]
[*]192.168.5.55 nagios-server
[*]
[*]192.168.2.4 datanode
配置datanode服务器的环境变量，为了方便这里写入/etc/profile文件（也可以写到对应用户的/home/USER/.bash_profile或者/root/.bash_profile文件中），添加的内容如下：
[*]export OS_ARCH=amd64
[*]export OS_BIT=64
[*]export JAVA_HOME=/usr/java/jdk1.6.0_14
[*]export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
[*]export ANT_HOME=/usr/local/ant
[*]export PATH=$JAVA_HOME/bin:$PATH
[*]export ZOOKEEPER_INSTALL=/opt/hadoop/zookeeper
[*]export PATH=$PATH:$ZOOKEEPER_INSTALL/bin
[*]export HADOOP_HOME=/opt/hadoop/hadoop
[*]export HADOOP_INSTALL=/opt/hadoop/hadoop
[*]export PATH=$PATH:$HADOOP_HOME/bin
[*]export LANG=zh_CN.GBK
[*]export HIVE_HOME=/opt/hadoop/hive
[*]export PATH=$HIVE_HOME/bin:$PATH:$ANT_HOME/bin
[*]export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:${HADOOP_HOME}/c++/Linux-$OS_ARCH-$OS_BIT/lib:/usr/local/lib:/usr/lib
完成上述操作后，启动datanode服务器上的HDFS
[*]#start-dfs.sh
启动后该节点会自动加入之前的hadoop集群。
二、WebDav
挂载WebDav提供的网络存储，需要安装三个包，分别是：fuse、neon和davfs2
1、编译安装fuse
[*]# tar fvxz fuse-2.8.5.tar.gz
[*]# cd fuse-2.8.5
[*]# ./configure
如果编译完成后不确定是否正常编译，可以用命令echo $?来获取返回值确认，0表示正常，其它均表示有错误。
[*]# make && make install
2、编译安装neon
[*]# tar fvxz neon-0.29.6.tar.gz
[*]# cd neon-0.29.6
[*]# ./configure
[*]# make && make install
3、编译安装davfs2
[*]# tar fvxz davfs2-1.4.6.tar.gz
[*]# cd davfs2-1.4.6
[*]# ./configure
[*]# make && make install
4、挂载webdav
挂载hdfs需要使用命令mount.davfs，而使用该命令需要davfs2用户，所以先创建该用户：
[*]# useradd davfs2
之后开始挂载：
[*]# mount.davfs http://192.168.2.9:8080/hdfs-webdav /hdfs
[*]Please enter the username to authenticate with server
[*]http://192.168.2.9:8080/hdfs-webdav or hit enter for none.
[*]Username: davfs2
[*]Please enter the password to authenticate user davfs2 with server
[*]http://192.168.2.9:8080/hdfs-webdav or hit enter for none.
[*]Password:
完成后就可以进入挂载点查看了。祝大家成功
Hadoop学习笔记（一）
页:
[1]