Hadoop单节点环境配置

son30

　　1、配置环境
　　1.1、软件包
　　sun jdk  或 openjdk： 1.7
　　1.2、安装必须软件包：
　　# yum install ssh rsync
　　# rpm -ivh jdk-7u79-linux-x64.rpm
　　1.3、配置java环境
　　# vim /etc/profile
　　export JAVA_HOME=/usr/java/latest
　　export JRE_HOME=$JAVA_HOME/jre
　　export PATH=$PATH:$JAVA_HOME/bin

　　export>　　# vim hadoop_home/etc/hadoop/hadoop_env.sh
export JAVA_HOME=/usr/java/latest或者export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk.x86_64　　2、单节点配置文件配置
　　# vim hadoop_home/etc/hadoop/core-site.xml
　　
   
　　
        fs.defaultFS
　　
        hdfs://localhost:9000
　　
   
　　

　　# vim hadoop_home/etc/hadoop/hdfs-site.xml
　　
   
　　
        dfs.replication
　　
        1
　　
   
　　

　　3、设置ssh免密登陆
　　# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
　　# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　# chmod 0600 ~/.ssh/authorized_keys
　　4、测试环境
　　4.1、格式化文件系统
　　# hadoop_home/bin/hdfs namenode -format
　　4.2、开启NameNode和DataNode服务
　　# hadoop_home/sbin/start-dfs.sh
　　4.3、浏览NameNode的web接口
　　http://localhost:50070/
　　4.4、MapReduce工作执行的目录
　　# hadoop_home/bin/hdfs dfs -mkdir /user
　　# hadoop_home/bin/hdfs dfs -mkdir /user/  这里的为你执行MapReduce的系统用户
　　4.5、拷贝input文件倒目标文件系统
　　# hadoop_home/bin/hdfs dfs -put etc/hadoop input
　　4.6、运行系统提供的默认demo
　　# hadoop_home/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+'
　　4.7、将目标系统的output文件拷贝到本地
　　# hadoop_home/bin/hdfs dfs -get output output
　　4.8、查看执行结果
　　# cat hadoop_home/output/*
　　4.9、查看目标文件系统output结果
　　# hadoop_home/bin/hdfs dfs -cat output/*
　　至此，单节点hadoop环境就已经配置并测试通过了。