hadoop 伪分布模式
学习hadoop有一个星期了，先是看了看书，hadoop权威指南，很不错的入门级教材。书的内容偏向于基础原理，多读几遍会收获很多。
本人菜鸟一只，为了把自己的学习心得分享给大家，就在此开始记录一下，希望大神们批评指点，好吧，主题开始：
hadoop 伪分布模式
操作系统：Centos6.2
JDK：jdk1.6.0_30
hadoop版本：hadoop-0.20.203.0
--建议不在root下操作，可以新建hadoop用户和组
1.安装JDK环境
--在/usr/java/目录下解压并安装，安装好之后配置一下环境变量PATH
--vi或者gedit /etc/profile 在最后添加java环境
----export JAVA_HOME=/usr/java/jdk1.6.0_30
----export> ----export PATH=$PATH:$JAVA_HOME/bin
--环境配置好之后，在终端里输入java -version ，出现版本信息则表示成功，否则可能是环境路径配置有误，请仔细检查。
2.ssh验证配置
--Hadoop 需要使用SSH 协议，namenode 将使用SSH 协议启动 namenode和datanode 进程，伪分布式模式数据节点和名称节点均是本身，必须配置 SSH localhost验证。
--验证步骤有提示就按回车
----$ssh-keygen -trsa
有提示就按回车 然后通过命令行cd .ssh进入目录执行下面的命令，就会设置好无密码登录了
----$cat> 3.host主机的设置
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localhostdomain6 localhost6
127.0.0.1 namenode datanode01
4.hadoop安装与配置
--在用户目录下解压hadoop并进行配置
----在conf目下找到hadoop-env.sh，打开编辑器添加下面的jdk安装路径
#set java env
export JAVA_HOME=/usr/java/jdk1.6.0_30
--/conf/配置core-site.xml
fs.default.name
hdfs://namenode:9000/
hadoop.tmp.dir
/home/hadoop/hadooptmp
-- 配置hdfs-site.xml
dfs.name.dir
/home/hadoop/hdfs/name
dfs.data.dir
/home/hadoop/hdfs/data
dfs.replication
1
--配置mapred-site.xml
mapred.job.tracker
namenode:9001
--配置master，slaves文件
vi master 内容修改为 namenode
vi slaves 内容修改为 datanode01
hadoop伪分布模式算是基本配置好，然后测试一下吧
hadoop namenoede -format 格式化一下
./start-all.sh 启动所有守护进程
然后jps一下 会看到下面的内容
6179 JobTracker
6296 TaskTracker
6367 Jps
5883 NameNode
6002 DataNode
6111 SecondaryNameNode
这样才算是真正跑起来了
大家快来试试吧！
文章比较简略，我也是配置了大半天才成功，现在正在研究Hbase+Hive，就写到这吧。
页:
[1]