linux上部署hadoop集群 基础篇

zhouu

　　介绍
　　这一系列博文介绍hadoop集群的部署和安装，因为hadoop确实比较复杂，所以分为几个部分来一一介绍。大致有基础篇，HA-QJM篇，Federation篇。
　　正文
　　一、操作环境
　　虚拟机4台，配置基于hadoop的集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通，Ip分布为：
　　168.5.15.112 hadoop1（Master）
　　168.5.15.116 hadoop2（Slave）
　　168.5.15.207 hadoop3（Slave）
　　168.5.15.201 hadoop4（Slave）
　　操作系统为CENTOS/RHEL5.4 64bit
　　Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色，负责分布式数据存储以及任务的执行。
　　创建账户
　　使用root登陆所有机器后，所有的机器都创建hadoop 用户
　　useradd hadoop
　　passwd hadoop
　　此时在/home/ 下就会生成一个hadoop目录，目录路径为/home/hadoop
　　使用hadoop用户登录并创建相关的目录
　　定义安装包存放路径：/opt/
　　并给与足够的权限：chown 777 /opt
　　需要两个安装包：JDK和HADOOP安装包，两个都从apache官网上下载。
　　这里为jdk-8u25-linux-x64.rpm和hadoop-2.6.0.tar.gz，下载后放在/opt目录下，
　　安装JDK
　　1 rpm -ivh jdk-8u25-linux-x64.rpm,安装后JDK家目录默认在/usr/java/jdk1.8.0_25
　　2 配置环境变量，vi/etc/profile ，在行末尾添加
　　exportJAVA_HOME=/usr/java/jdk1.8.0_25
　　exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:/lib/dt.jar
　　exportPATH=$JAVA_HOME/bin:$PATH
　　3  使配置立即生效
　　source /etc/profile
　　4  执行java -version 查看是否安装成功
　　修改主机名
　　1 连接到主节点168.5.15.112 ，修改network ，执行 vi/etc/sysconfig/network ，修改HOSTNAME=hadoop1
　　2 修改hosts 文件，vi/etc/hosts ，在行末尾添加:
　　168.5.15.112 hadoop1
　　168.5.15.116 hadoop2
　　168.5.15.207 hadoop3
　　168.5.15.201 hadoop4
　　3 执行hostname hadoop1
　　4 执行exit 后重新连接可看到主机名以修改OK
　　其他节点也修改主机名后添加Host, 或者host 文件可以在后面执行scp 覆盖操作
　　配置SSH无密码登陆
　　1  以hadoop用户在其中一台机器上执行命令ssh-keygen -t rsa 之后一路回车，
　　2在其他机器上创建目录：/home/hadoop/.ssh，并修改权限：chmod 700 /home/hadoop/.ssh
　　3 把~/.ssh/id_rsa.pub 分发到所有机器上（包括自己）
　　scp ~/.ssh/id_rsa.pub hadoop@{#IP}:~/.ssh/authorized_keys
　　4 修改权限：执行 chmod600 ~/.ssh/authorized_keys
　　5 若有必要请修改ssh配置文件
　　6 验证
　　ssh {#IP}
　　如果没有需要密码即可
　　7 注意：要确保任意两台机器都能够通过SSH无密码登陆对方
　　Hadoop安装
　　下载官网地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/
　　解压目录
　　tar zxvfhadoop-2.2.0.tar.gz
　　创建相应的数据存放目录：
　　mkdir -p /opt/hadoop-2.6.0/hdfs/name
　　mkdir -p /opt/hadoop-2.6.0/hdfs/data
　　mkdir -p /opt/hadoop-2.6.0/logs
　　mkdir -p /opt/hadoop-2.6.0/tmp
　　配置环境变量
　　vi /etc/profile
　　添加
　　exportHADOOP_HOME=/opt/hadoop-2.6.0
　　exportPATH=$PATH:$HADOOP_HOME/bin
　　exportPATH=$PATH:$HADOOP_HOME/sbin
　　exportHADOOP_MAPARED_HOME=${HADOOP_HOME}
　　exportHADOOP_COMMON_HOME=${HADOOP_HOME}
　　exportHADOOP_HDFS_HOME=${HADOOP_HOME}
　　exportYARN_HOME=${HADOOP_HOME}
　　exportHADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
　　exportHDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
　　exportYARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
　　生效配置：
　　source /etc/profile
　　进入/etc/hadoop目录中
　　cd/home/hadoop/hadoop/etc/hadoop
　　配置hadoop-env.sh
　　vi hadoop-env.sh
　　在末尾添加
　　exportJAVA_HOME=/usr/java/jdk1.8.0_25
　　slave配置
　　vi slaves
　　添加slave 的IP
　　168.5.15.116
　　168.5.15.201
　　168.5.15.207
　　编辑core-site.xml
　　vi core-site.xml
　　在configuration 节点里面添加属性
　　
　　hadoop.tmp.dir
　　/opt/hadoop-2.6.0/tmp
　　
　　
　　fs.default.name
　　hdfs://10.9.214.151:9000
　　
　　
　　hadoop.proxyuser.root.hosts
　　10.9.214.151
　　
　　
　　hadoop.proxyuser.root.groups
　　*
　　
　　配置hdfs-site.xml
　　vi hdfs-site.xml
　　
　　dfs.namenode.name.dir
　　file:/opt/hadoop-2.6.0/hdfs/name
　　
　　
　　dfs.dataname.data.dir
　　file:/opt/hadoop-2.6.0/hdfs/data
　　
　　
　　dfs.replication
　　3
　　
　　
　　配置yarn-site.xml
　　
　　yarn.resourcemanager.address
　　10.9.214.151:18040
　　
　　
　　yarn.resourcemanager.scheduler.address
　　10.9.214.151:18030
　　
　　
　　yarn.resourcemanager.webapp.address
　　10.9.214.151:18088
　　
　　
　　yarn.resourcemanager.resource-tracker.address
　　10.9.214.151:18025
　　
　　
　　yarn.resourcemanager.admin.address
　　10.9.214.151:18141
　　
　　
　　yarn.nodemanager.aux-services
　　mapreduce_shuffle
　　
　　配置mapred-site.xml
　　
　　mapred.job.tracker
　　http://10.9.214.151:9001
　　
　　在一台机器上配置好后，把以下文件同步到其他机器：
　　/etc/profile,/etc/hosts,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
　　Hadoop启动
　　1 格式化集群,以下用hadoop用户执行
　　hadoop namenode -format
　　2 启动hdfs
　　执行
　　start-dfs.sh
　　开启hadoop dfs服务
　　3 启动Yarn
　　开启yarn 资源管理服务
　　start-yarn.sh
　　4 验证hdfs
　　在namenode上执行jps看进程是否都已经启动了
　　[root@hadoop1 hadoop]#jps
　　27113 ResourceManager
　　26387 SecondaryNameNode
　　26075 NameNode
　　27633 Jps
　　在datanode上查看
　　[root@hadoop2 ~]# jps
　　8966 Jps
　　31822 DataNode
　　31935 NodeManager
　　验证是否可以登陆
　　hadoop fs -lshdfs://168.5.15.112:9000/
　　hadoop fs -mkdirhdfs://168.5.15.112:9000/testfolder
　　hadoop fs-copyFromLocal /testfolder hdfs://168.5.15.112:9000/testfolder（前提为本机已创建/testfolder目录）
　　hadoop fs -lshdfs://168.5.15.112:9000/testfolder
　　验证map/reduce
　　在master1 上，创建输入目录 :
　　hadoop fs -mkdirhdfs://168.5.15.112:9000/input
　　将一些txt文件复制到hdfs 分布式文件系统的目录里，执行以下命令
　　hadoop fs -put/test/*.txt hdfs://168.5.15.112:9000/input
　　在hadoop1 上，执行 HADOOP自带的例子，wordcount包，命令如下
　　cd$HADOOP_HOME/share/hadoop/mapreduce
　　hadoop jarhadoop-mapreduce-examples-2.2.0.jar wordcounthdfs://168.5.15.112:9000/input hdfs://168.5.15.112:9000/output
　　在hadoop1上，查看结果命令如下:
　　[root@master1 hadoop]#hadoop fs -ls hdfs://168.5.15.112:9000/output
　　Found 2 items
　　-rw-r--r--   2 rootsupergroup          0 2012-06-29 22:59hdfs://168.5.15.112:9000/output/_SUCCESS
　　-rw-r--r--   2 rootsupergroup       16605 2012-06-29 22:59hdfs://168.5.15.112:9000/output/part-r-00000
　　[root@hadoop1 hadoop]#hadoop fs -cat  hdfs://168.5.15.112:9000/output/part-r-00000即可看到每个单词的数量