hadoop伪分布式和完全分布式配置
hadoop的三种模式:本地模式：本地模拟实现，不使用分布式文件系统
伪分布式模式：5个进程在一台主机上启动，一般开发人员调试hadoop程序使用
完全分布式模式：至少3个结点，JobTracker和NameNode在同一台主机上，secondaryNameNode一台主机，DataNode和Tasktracker一台主机
本次试验环境：
CentOS2.6.32-358.el6.x86_64
jdk-7u21-linux-x64.rpm
hadoop-0.20.2-cdh3u6.tar.gz
一、hadoop伪分布式模式的配置
# rpm -ivh jdk-7u21-linux-x64.rpm
# vim /etc/profile.d/java.sh
JAVA_HOME=/usr/java/latest
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
# tar xf hadoop-0.20.2-cdh3u6.tar.gz -C /usr/local/
# cd /usr/local/
# ln -sv hadoop-0.20.2-cdh3u6/ hadoop
# vim /etc/profile.d/hadoop.sh
HADOOP_HOME=/usr/local/hadoop
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME PATH
测试jdk和hadoop是否正确安装
# java -version
# hadoop version
创建用户并修改hadoop文件权限
# useradd hduser
# passwd hduser
# chown -R hduser.hduser /usr/local/hadoop/
创建hadoop临时数据保存目录
# mkdir /hadoop/temp -pv
# chown -R hduser.hduser /hadoop/
主要脚本功能：
/usr/local/hadoop/bin/start-dfs.sh 启动namenode datanode secondarynamenode进程
/usr/local/hadoop/bin/start-mapred.sh 启动jobtracker tasktracker
/usr/local/hadoop/bin/hadoop-daemon.sh 单独启动某个进程
/usr/local/hadoop/bin/start-all.sh 启动全部进程
/usr/local/hadoop/bin/stop-all.sh 停止全部进程
主要配置文件：
/usr/local/hadoop/conf/masters 保存第二名称节点的位置（secondaryNameNode）
/usr/local/hadoop/conf/slaves 保存从节点的位置（所有运行tasktracker和datanode的结点）
/usr/local/hadoop/conf/core-site.xml 用于定义系统级别的参数
/usr/local/hadoop/conf/hdfs-site.xml HDFS的相关设定
/usr/local/hadoop/conf/mapred-site.xml HDFS的相关设定，如reduce任务的默认个数、任务所能够使用内存的默认上下限等
/usr/local/hadoop/conf/hadoop-env.sh 定义hadoop运行环境相关的配置信息
让hadoop启动起来，只需修改一下配置文件即可
# vim core-site.xml
hadoop.tmp.dir
/hadoop/temp
fs.default.name
hdfs://localhost:8020
# vim mapred-site.xml
mapred.job.tracker
localhost:8021
# vim hdfs-site.xml
dfs.replication
1
配置hduser通过ssh不需要密码访问本机
$ ssh-keygen -t rsa -P ''
$ ssh-copy-id -i> $ hadoop namenode -format 格式化名称结点$ start-all.sh 启动服务
$ jps 查看进程
NameNode
DataNode
JobTracker
TaskTracker
secondaryNameNode
如果以上5个进程启动起来，说明hadoop配置成功
hadoop常用命令：
$ hadoop 查看帮助
$ hadoop fs
$ hadoop fs -mkdir test 在HDFS上创建目录
$ hadoop fs -ls 查看文件或目录
$ hadoop fs -put test.txt test 上传本地文件到HDFS
用hadoop自带的任务模型测试hadoop可用性：
$ hadoop jar /usr/local/hadoop/hadoop-examples-0.20.2-cdh3u6.jar 读取jar文件
$ hadoop jar /usr/local/hadoop/hadoop-examples-0.20.2-cdh3u6.jar wordcount 查看wordcount的语法格式
Usage: wordcount
in读取文件位置 out保存结果位置（HDFS上，目录不能事先存在）
$ hadoop jar /usr/local/hadoop/hadoop-examples-0.20.2-cdh3u6.jar wordcount test wordcount-out
$ hadoop job -list all 查看执行过的作业
$ hadoop fs -ls wordcount-out 查看任务输出结果
$ hadoop fs -cat wordcount-out/part-r-00000
hadoop提供的web任务进程查看界面：（访问需关闭防火墙）
JobTracker的HTTP服务器地址和端口，默认为0.0.0.0:50030；
TaskTracker的HTTP服务器地址和端口，默认为0.0.0.0:50060；
NameNode的HTTP服务器地址和端口，默认为0.0.0.0:50070；
DataNode的HTTP服务器地址和端口，默认为0.0.0.0:50075；
SecondaryNameNode的HTTP服务器地址和端口，默认为0.0.0.0:50090；
二、hadoop完全分布式配置：
NameNode和JobTracker在一个节点上（lab201）
SecondaryNameNode（SNN）在一个节点上(lab202)
DataNode和TaskTracker在一个节点上(lab203)
三个节点上均进行如下操作（注：三个节点保持时间同步）
# rpm -ivh jdk-7u21-linux-x64.rpm
# vim /etc/profile.d/java.sh
JAVA_HOME=/usr/java/latest
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME PATH
# tar xf hadoop-0.20.2-cdh3u6.tar.gz -C /usr/local/
# cd /usr/local/
# ln -sv hadoop-0.20.2-cdh3u6/ hadoop
# vim /etc/profile.d/hadoop.sh
HADOOP_HOME=/usr/local/hadoop
PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_HOME PATH
# java -version
# hadoop version
# useradd hduser
# passwd hduser
# chown -R hduser.hduser /usr/local/hadoop/
# mkdir -pv /hadoop/temp
# chown -R hduser.hduser /hadoop
主结点配置（lab201）：
配置主节点hduser不需要密码访问从节点
# su - hduser
$ ssh-keygen -t rsa -P ''
$ ssh-copy-id -i .ssh/id_rsa.pub hduser@localhost
$ ssh-copy-id -i .ssh/id_rsa.pub hduser@lab201
$ ssh-copy-id -i .ssh/id_rsa.pub hduser@lab203
$ vim masters 修改SecondaryNameNode节点
lab202
$ vim slaves 修改从节点
lab203
$ vim core-site.xml
hadoop.tmp.dir
/hadoop/temp
fs.default.name
hdfs://lab201:8020
$ vim mapred-site.xml
mapred.job.tracker
lab201:8021
$ vim hdfs-site.xml hduser对hadoop要写写权限，才能自动创建/hadoop/data /hadoop/name等文件
dfs.replication
1
The actual number of replications can be specified when the file is created.
dfs.data.dir
/hadoop/data
ture
The directories where the datanode stores blocks.
dfs.name.dir
/hadoop/name
ture
The directories where the namenode stores its persistent matadata.
fs.checkpoint.dir
/hadoop/namesecondary
ture
The directories where the secondarynamenode stores checkpoints.
将配置文件copy到从节点：
$ scp hdfs-site.xml core-site.xml mapred-site.xml lab2:/usr/local/hadoop/conf/
$ scp hdfs-site.xml core-site.xml mapred-site.xml lab3:/usr/local/hadoop/conf/
$ hadoop namenode -format
$ start-all.sh
$ jps
在从节点上jps查看进程是否启动，在浏览器中打开相关页面，查看是否能够正常访问
功能测试同伪分布式模式，此处不再介绍
页:
[1]