如何解决伪分布无法启动datanode的问题

YY-LIN

[问题描述]:   使用start-all.sh启动时, 无法启动datanode, 使用hadoop fs -put等命令报错
[问题分析]:
有两种情况
1.  使用root用户创建hadoop集群
    使用root运行start-all.sh, hadoop会加上-jvm参数, 该参数根据java版本不同不一样, 这是导致错误的根源
    观察 logs/hadoop-root-datanode-xxx.out 发现
    Unrecognized option: -jvm
    Could not create the Java virtual machine.
    因此不建议使用root启动hadoop
2.  使用hadoop或其他用户创建集群
    配置文件 hdfs-site.xml中的dfs.data.dir路径, 权限不对
    正确的权限为:   drwxr-xr-x(755)
完整的启动hadoop伪集群的方法:
1.  创建hadoop用户
    useradd hadoop
    passwd hadoop
2.  修改ssh无密码登陆(前提是ssh正常安装, 服务sshd启动)
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    以hadoop身份登陆, 输入ssh localhost测试, 如果无需密码登陆则成功
    如果不成功, 可以尝试彻底删除.ssh目录, 重新生成公钥
3.  在~/.bashrc文件中配置hadoop的环境变量
    1.  JAVA_HOME(必须, 也可以在conf/hadoop-env.sh中指定, 默认没有)
        export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre
    2.  HADOOP_HOME
        export HADOOP_HOME=/home/hadoop/hadoop_home
    3.  HADOOP_VERSION
        export HADOOP_VERSION=0.20.203.0
    4.  HADOOP_BIN
        export HADOOP_BIN=$HADOOP_HOME/hadoop-$HADOOP_VERSION/bin
    5.  PATH
        export PATH=$PATH:$HADOOP_BIN
4.  修改hadoop三大配置(配置文件默认在conf目录下)
    1.  core-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/core-default.html)
        <configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/hadoop_tmp</value>
</property>
</configuration>
    其中, hadoop.tmp.dir 为临时文件夹, 默认文件夹为/tmp/hadoop-${user.name}
    2.  hdfs-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/hdfs-default.html)
        <configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/namenode_name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/namenode_data</value>
</property>
</configuration>
        dfs.replication:    副本的数量, 默认为3个, 伪集群为1个
        dfs.name.dir:       默认值${hadoop.tmp.dir}/dfs/name, 指定Namenode存储fsimage文件的位置, 如果值是逗号分隔的列表, 则在所有的目录上都会存放一份副本, 用于冗余.
                            Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in all of the directories, for redundancy.
        dfs.data.dir:       默认值${hadoop.tmp.dir}/dfs/data, 指定datanode在本地文件系统存放块数据的位置, 如果值是逗号分隔的列表, 则数据会被存储到所有目录下, 典型是存储到多个不同的设备上, 如果目录不存在则忽略.
                            Determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named directories, typically on different devices. Directories that do not exist are ignored.
        其中要注意dfs.data.dir的权限为755, 否则会报无法启动datanode的错误

    3.  mapred-site.xml(详细说明见http://hadoop.apache.org/common/docs/current/mapred-default.html)
        <configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
<property>
<name>mapred.local.dir</name>
<value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/mapred/local</value>
</property>
<property>
<name>mapred.system.dir</name>
<value>/home/hadoop/hadoop_home/hadoop-0.20.203.0/mapred/system</value>
</property>
</configuration>

        mapred.job.tracker: JobTracker的主机IP地址和端口
        mapred.local.dir:   默认值${hadoop.tmp.dir}/mapred/local, 决定存储 MapReduce 中间数据(map 输出数据)的位置, 而事实上, map输出的中间数据会存放到本地磁盘而非hdfs, 见<Hadoop The Definitive Guide>-<CHAPTER 2 MapReduce>-<Scaling Out>-<Data Flow>:  Map tasks write their output to the local disk, not to HDFS.), 如果值是逗号分割的列表, 且目录位于不同的设备, 则可以分担硬盘I/O. 目录不存在则忽略.
                            The local directory where MapReduce stores intermediate data files. May be a comma-separated list of directories on different devices in order to spread disk i/o. Directories that do not exist are ignored.
        mapred.system.dir:  默认值${hadoop.tmp.dir}/mapred/system, MapReduce存储控制文件的地方, 该路径是hdfs的路径, 如/hadoop/mapred/system/
                            The directory where MapReduce stores control files.
5.  格式化HDFS
    Hadoop namenode -format
6.  运行hadoop守护进程
    bin/start-all
7.  观察hadoop运行情况
    使用ps -Uhadoop -f发现:
    java -Dproc_namenode -Xmx1000m
    java -Dproc_datanode -Xmx1000m
    java -Dproc_secondarynamenode
    java -Dproc_jobtracker -Xmx1000m
    java -Dproc_tasktracker -Xmx1000m
    则表示正常