大数据系列01：大数据离线计算平台hadoop集群搭建和本地环境配置实践

wojkxlq

　　最近出于兴趣开始研究大数据领域技术，照例从离线计算开始，作为菜鸟一枚，将学习实践过程记录下来，抛砖引玉，大牛请轻拍。鸣谢大数据专家段海涛老师，看他的视频学习的。

1 环境准备：

1.1  安装linux操作系统
　　centos安装好之后，安装ssh、scp服务，关闭防火墙
　　

　　　[iyunv@mini1 ~]$ yum install openssh-server　　
　　　[iyunv@mini1 ~]$ yum install openssh-client
　　
　　　[iyunv@mini1 ~]$ service iptables stop
　　
　　　[iyunv@mini1 ~]$ chkconfig iptables off
　　


1.2  安装jdk，配置环境变量
　　

[iyunv@mini1 ~]$ tar –zxvf jdk-8u111-linux-x64.tar.gz –C /usr/local/java　　

[iyunv@mini1 ~]$ vi /etc/profile　　

　　

export JAVA_HOME=/usr/local/java/jdk1.8.0_111　　

export PATH=$PATH:$JAVA_HOME/bin　　


1.3 配置集群中所有机器的主机别名
　　

[iyunv@mini1 ~]$vim /etc/hosts　　

　　

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4　　

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6　　

192.168.1.142   mini1　　

192.168.1.143   mini2　　

192.168.1.144   mini3　　

192.168.1.145   mini4　　


1.4  配置名称节点机器到数据节点机器的免密登录。
　　

[iyunv@mini1 ~]$ ssh-keygen   　　 #提示时，直接回车即可　　

[iyunv@mini1 ~]$ ssh-copy-id mini2/mini3/mini4 #　　

[iyunv@mini1 ~]$ ssh mini2        #测试是否配置成功　　

　　将用来做namnode机器上配置好主机别名的hosts文件【1.3的操作】下发到集群的其他机器
　　

[iyunv@mini1 ~]$ scp /etc/hosts mini2:/etc/　　

[iyunv@mini1 ~]$ scp /etc/hosts mini3:/etc/　　

[iyunv@mini1 ~]$ scp /etc/hosts mini4:/etc/　　


1.5  创建服务器的hadoop业务账户
　　我们单独建一个用户来进行操作hadoop集群安装配置管理工作，用户名和命名均设置为：hadoop
　　

[iyunv@mini1 ~]# useradd hadoop　　

[iyunv@mini1 ~]# passwd hadoop　　

1.6  给业务账号配置高级操作权限
　　在用来安装名称节点的机器上给Hadoop用户配置操作权限（省去经常切换root用户的麻烦，需在root用户下操）
　　

[iyunv@mini1 ~]$ vi /etc/sudoers　　

hadoop   ALL=(ALL)   ALL　　

1.7  使用业务账号登录
　　使用hadoop账户登录要安装集群的机器

1.8  从名称节点机器下发sudoers权限文件到集群
　　将当前（名称节点）机器上配好hadoop账户权限的sudoers文件下发到其他机器上
　　

[iyunv@mini1 hadoop]# scp /etc/sudoers mini2:/etc　　

[iyunv@mini1 hadoop]# scp /etc/sudoers mini3:/etc　　

[iyunv@mini1 hadoop]# scp /etc/sudoers mini4:/etc　　

2 安装和配置hadoop

2.1  上传hadoopjar包
　　上传hadoopjar包到一台名称节点服务器上进行安装配置。[安装配置好之后下发到集群中的其他数据节点]

2.2  创建安装目录并解压安装包
　　创建一个apps文件夹用来今后安装hadoop相关的软件，并将刚上传的hadoop包解压到该文件夹
　　

[hadoop@mini1 ~]$ mkdir apps　　

[hadoop@mini1 ~]$ tar -zxvf cenos-6.5-hadoop-2.6.4.tar.gz -C apps/　　

2.3  编辑hadoop相关配置文件
　　编辑相关配置文件（相关配置参数可以配置到在以下任意的一个配置文件中，只是为了方便区分，一一进行配置）：配置参数参考：http://hadoop.apache.org/docs/r0.23.11/hadoop-project-dist/hadoop-common
　　core-site.xml：公共的核心的配置文件
　　hadoop-env.sh：hadoop运行时配置文件
　　hdfs-site.xml：hdfs配置文件
　　mapred-site.xml.template：mapreduce运行时配置文件
　　yarn-site.xml：yarn配置文件



2.3.1   hadoop-env.sh
　　配置java环境变量（jdk所在目录）
　　

[hadoop@mini1 hadoop]$ vi hadoop-env.sh　　

2.3.2  core-site.xml
　　

[hadoop@mini1 hadoop]$ vi core-site.xml　　

　　

<!-- Put site-specific property overrides in this file. -->　　

　　
<configuration>
　　

　　
  
　　

　　
<!-- 配置集群名称节点位置 -->
　　

　　
<property>
　　

　　
<name>fs.defaultFS</name>
　　

　　
<value>hdfs://mini1:9000</value>
　　

　　
</property>
　　

　　
  
　　

　　
<!-- 配置hadoop运行数据存放目录 -->
　　

　　
<property>
　　

　　
<name>hadopp.tem.dir</name>
　　

　　
<value>/home/hadoop/hdpdata</value>
　　

　　
</property>
　　

　　
  
　　

　　
</configuration>
　　

2.3.3  hdfs-site.xml
　　hdfs-site.xml文件的配置都有默认值，无特殊情况可以不进行配置，此处仅作练习
　　

  [hadoop@mini1 hadoop]$ vi hdfs-site.xml　　

　　

<configuration>　　

　　
  
　　

　　
<!—副本数量，默认为3 -->
　　

　　
<property>
　　

　　
<name>dfs.replication</name>
　　

　　
<value>2</value>
　　

　　
</property>
　　

　　
  
　　

　　
</configuration>
　　

2.3.4  mapred-site.xml.template
　　配置完之后更改文件名，去掉后面的template
　　

  [hadoop@mini1 hadoop]$ vi mapred-site.xml.template　　

　　

<configuration>　　

　　
  
　　

　　
<!—配置mapreduce资源调度平台类型 -->
　　

　　
<property>
　　

　　
<name>mapreduce.framework.name</name>
　　

　　
<value>yarn</value>
　　

　　
</property>
　　

　　
  
　　

　　
</configuration>

　　

　　

[hadoop@mini1 hadoop]$ mv mapred-site.xml.template mapred-site.xml　　


2.3.5  yarn-site.xml
　　

[hadoop@mini1 hadoop]$ vi yarn-site.xml　　

　　

<configuration>　　

　　
<!— 配置名称节点主机名 -->
　　

　　
<property>
　　

　　
<name>yarn.resourcemanager.hostname</name>
　　

　　
<value>mini1</value>
　　

　　
</property>
　　

　　
  
　　

　　
<property>
　　

　　
<name>yarn.nodemanager.aux-services</name>
　　

　　
<value>mapreduce_shuffle</value>
　　

　　
</property>
　　

　　
  
　　

　　
</configuration>
　　

3 下发集群

3.1  将按照配置好的hadoop下发到数据节点机器上
　　名称节点的的hadoop安装配置好之后，将hadoop下发到集群中的其他机器
　　

[hadoop@mini1 ~]$ scp -r apps/ mini2:/home/hadoop/　　

[hadoop@mini1 ~]$ scp -r apps/ mini3:/home/hadoop/　　

[hadoop@mini1 ~]$ scp -r apps/ mini4:/home/hadoop/　　


3.2   配置hadoop环境变量并将配置文件下发到节点机器上并刷新
　　在名称节点机器上配置好已装好的hadoop的环境变量，并将环境变量配置文件下发到集群中的其他机器，并刷新配置文件。
　　

[hadoop@mini1 hadoop-2.6.4]$ sudo vi /etc/profile　　

　　

export JAVA_HOME=/usr/local/java/jdk1.8.0_111　　

export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4　　

export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.5　　

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin:/bin:/usr/local/java/jdk1.8.0_111/bin:$ZOOKEEPER_HOME/bin　　
　　
　　

[hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini2:/etc/　　

[hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini3:/etc/　　

[hadoop@mini1 hadoop-2.6.4]$ sudo scp /etc/profile mini4:/etc/　　

　　在其他机器上刷新系统配置文件
　　

[hadoop@mini1 hadoop-2.6.4]$ source /etc/profile　　


4  启动hadoop服务机器

4.1   启动前格式化hdsf文件系统
　　格式化名称节点机器上的hdfs系统：
　　

[hadoop@mini1 ~]$ hadoop namenode –format　　

　　出现：“Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.”则表示格式化成功

4.2  启动名称节点（namenode）上的服务
　　发现容量为空，数据节点的数量为0.

　　启动命令：
　　

[hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin   #配置了hadoop环境变量本步可以省略　　

[hadoop@mini1 sbin]$ hadoop-daemon.sh start namenode　　

　　查看启动状态命令：
　　

[hadoop@mini1 ~]$ jps　　

4.3  启动数据节点（datanode）上的服务并查看状态
　　

[hadoop @mini2/3/4 ~]# hadoop-daemon.sh start datanode　　

[hadoop@mini2/3/4 ~]$ jps　　

4.4   从web服务中查看hadoop集群状态
　　打开浏览器访问：http://mini1:50070，查看集群状态和节点分布

5 配置批量操作脚本
　　在hadoop的sbin目录下，有很多批量操作（启动或者停止）的脚本，其本质是循环调用“ssh+主机+命令”的方式进行操作，因此需要在/home/hadoop/apps/hadoop-2.6.4/etc/hadoop目录下的slaves文件配置数据节点的主机名。

5.1  查看命令脚本目录
　　

[hadoop@mini1 sbin]$ cd /home/hadoop/apps/hadoop-2.6.4/sbin　　

5.2  在slaves文件配置数据节点主机
　　

[hadoop@mini1 sbin]$ /home/hadoop/apps/hadoop-2.6.4/etc/hadoop　　2 [hadoop@mini1 hadoop]$ vi slaves
　　

　　初始只有localhost

　　添加集群数据节点主机，方便脚本调用

5.3   测试批量操作
　　停止所有节点hdfs服务         
　　

[hadoop@mini1 hadoop]$ stop-dfs.sh　　

　　查看是否批量停止成功：

6  hadoop本地开发环境搭建

6.1  解压安装包

6.2  使用windows平台的包的bin和lib目录替换原有的bin和lib目录

6.3  配置环境变量

6.4  添加jar包到集成开发工具