Hadoop-2.4.1安装配置

淡淡回忆

　　Hadoop-2.4.1安装配置
　　
　　1、下载地址
　　http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/
　　
　　linux命令下具体操作如下：
　　wget  http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.4.1/hadoop-2.4.1.tar.gz
　　2、安装配置参考文档
　　官网：
　　这是单机配置
　　http://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/SingleCluster.html
　　
　　博客：
　　http://blog.csdn.net/liangliangdetianxia/article/details/37716141
　　3、具体安装配置
　　1、下载
　　2、解压
　　
　　root@i-5ygfjuik:~#tar zxvf hadoop-2.4.1.tar.gz.1
　　3、单机配置
　　在hadoop文件夹下
　　etc/hadoop/hadoop-env.sh
　　修改下面内容
　　# set to theroot of your Java installation
　　export JAVA_HOME=/usr/java/latest
　　本例中用到export JAVA_HOME=/opt/jdk
　　//hadoop的安装路径
　　
　　
　　Hadoop 环境配置
　　需要在linux系统下 找到profile文件进行配置  profile文件一般都在/etc/profile
　　以本文为例具体配置如下：
　　
　　# vim /etc/profile
　　
　　export HADOOP_PREFIX=/root/hadoop-2.4.1
　　export PATH=$PATH:$HADOOP_PREFIX/bin
　　
　　#Assuming your installation directory is /usr/local/hadoop
　　exportHADOOP_PREFIX=/usr/local/hadoop
　　
　　启动hadoop
　　$ bin/hadoop
　　
　　4、伪分布配置(配置不全)
　　root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop# vimcore-site.xml
　　
　　
　　
　　fs.defaultFS
　　hdfs://localhost:9000
　　
　　
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#vim  hdfs-site.xml
　　
　　
　　
　　dfs.replication
　　1
　　
　　
　　伪分布配置
　　需要进入hadoop安装目录下找到 hadoop目录下的etc/hadoop
　　--------------------------------------------------------
　　对etc/hadoop中的文件进行配置（相关文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml）
　　a.配制core-site.xml
　　
　　
　　fs.default.name
　　hdfs://localhost:9000
　　
　　
　　dfs.namenode.name.dir
　　file:/home/hadoop/hadoop-2.4.1/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　file:/home/hadoop/hadoop-2.4.1/dfs/data
　　
　　
　　注意红色字体hadoop是我为配置hadoop2.4.1设立的账户名称，是系统在home目录下自动创建的，可以根据需要更改。
　　b.配制hdfs-site.xml
　　
　　
　　dfs.replication
　　
　　1
　　
　　
　　dfs.namenode.name.dir
　　/home/hadoop/hadoop-2.4.0/dfs/name
　　
　　
　　dfs.datanode.data.dir
　　/home/hadoop/hadoop-2.4.0/dfs/data
　　
　　
　　c.配制mapred-site.xml（具体参考安装的版本）
　　
　　
　　mapreduce.jobtracker.address
　　localhost:9001
　　
　　
　　d.配置yarn-site.xml
　　
　　
　　
　　mapreduce.framework.name
　　yarn
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　
　　---------------------------------------------------
　　
　　现在，检查SSh 能否自动登录（不需要密码）
　　root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh localhost
　　
　　如果不可以，就按下面设置
　　root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
　　
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1/etc/hadoop#cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
　　
　　
　　
　　执行
　　1、格式化
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs  namenode  –format
　　必须这样执行，不能进入bin 在执行
　　2、开始NameNode 和DataNode的守护进程
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1# sbin/start-dfs.sh
　　3、浏览NameNode的界面  默认情况下是可以的
　　
　　
　　
　　4、使HDFS目录能够执行MAPReduce的工作
　　root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs  dfs –mkdir   /user
　　root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs  dfs –mkdir  /user/username
　　
　　
　　
　　5、复制输入文件到这个分布式系统
　　
　　（还没跑通）
　　root@i-5ygfjuik:~/hadoop-2.4.1# bin/hdfs dfs -putetc/hadoop input
　　6、运行一些提供的例子
　　
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1# bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output'dfs[a-z.]+'
　　
　　7、检查输出结果
　　把输出文件从分布式文件系统拷贝到本地文件系统，以便研究结果
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -get output output
　　
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1#cat output/*
　　
　　在分布式系统中查看结果
　　
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1#bin/hdfs dfs -cat output/*   
　　
　　
　　8、当你完成后，停止守护进程
　　
　　root@i-5ygfjuik:~/hadoop-2.4.1#sbin/stop-dfs.sh