hadoop 伪分布模式

wslhs

　　学习hadoop有一个星期了，先是看了看书，hadoop权威指南，很不错的入门级教材。
　　书的内容偏向于基础原理，多读几遍会收获很多。
　　本人菜鸟一只，为了把自己的学习心得分享给大家，就在此开始记录一下，希望大神们批评指点，好吧，主题开始：
　　hadoop 伪分布模式
　　操作系统：Centos6.2
　　JDK：jdk1.6.0_30
　　hadoop版本：hadoop-0.20.203.0
　　--建议不在root下操作，可以新建hadoop用户和组
　　1.安装JDK环境
　　--在/usr/java/目录下解压并安装，安装好之后配置一下环境变量PATH
　　--vi或者gedit /etc/profile 在最后添加java环境
　　----export JAVA_HOME=/usr/java/jdk1.6.0_30

　　----export>　　----export PATH=$PATH:$JAVA_HOME/bin
　　--环境配置好之后，在终端里输入java -version ，出现版本信息则表示成功，否则可能是环境路径配置有误，请仔细检查。
　　2.ssh验证配置
　　--Hadoop 需要使用SSH 协议，namenode 将使用SSH 协议启动 namenode和datanode 进程，伪分布式模式数据节点和名称节点均是本身，必须配置 SSH localhost验证。
　　--验证步骤有提示就按回车
　　----$ssh-keygen -t  rsa
　　有提示就按回车 然后通过命令行cd .ssh进入目录  执行下面的命令，就会设置好无密码登录了

　　----$cat>　　3.host主机的设置
　　127.0.0.1 localhost.localdomain localhost
　　::1 localhost6.localhostdomain6 localhost6
　　127.0.0.1 namenode datanode01
　　4.hadoop安装与配置
　　--在用户目录下解压hadoop并进行配置
　　----在conf目下找到hadoop-env.sh，打开编辑器添加下面的jdk安装路径
　　#set java env
　　export JAVA_HOME=/usr/java/jdk1.6.0_30
　　--/conf/配置core-site.xml
　　
　　fs.default.name
　　hdfs://namenode:9000/
　　
　　
　　hadoop.tmp.dir
　　/home/hadoop/hadooptmp
　　
　　-- 配置hdfs-site.xml
　　
　　dfs.name.dir
　　/home/hadoop/hdfs/name
　　
　　
　　dfs.data.dir
　　/home/hadoop/hdfs/data
　　
　　
　　dfs.replication
　　1
　　
　　--配置mapred-site.xml
　　
　　mapred.job.tracker
　　namenode:9001
　　
　　--配置master，slaves文件
　　vi master 内容修改为 namenode
　　vi slaves 内容修改为 datanode01
　　hadoop伪分布模式算是基本配置好，然后测试一下吧
　　hadoop namenoede -format 格式化一下
　　./start-all.sh 启动所有守护进程
　　然后jps一下 会看到下面的内容
　　6179 JobTracker
　　6296 TaskTracker
　　6367 Jps
　　5883 NameNode
　　6002 DataNode
　　6111 SecondaryNameNode
　　这样才算是真正跑起来了
　　大家快来试试吧！
　　文章比较简略，我也是配置了大半天才成功，现在正在研究Hbase+Hive，就写到这吧。