Docker部署Hadoop集群

g87616758

　　一、主机规划
　　3台主机：1个master、2个slaver/worker
　　ip地址使用docker默认的分配地址：
　　master：
　　主机名： hadoop2、ip地址： 172.17.0.2
　　slaver1：
　　主机名： hadoop3、ip地址： 172.17.0.3
　　主机名： hadoop4、ip地址： 172.17.0.4
　　二、软件安装
　　1、在docker中安装centos镜像，并启动centos容器，安装ssh。--详见"docker上安装centos镜像"一文。
　　2、通过ssh连接到centos容器，安装jdk1.8、hadoop3.0
　　可以按照传统linux安装软件的方法，通过将jdk和hadoop的tar包上传到主机进行安装。
获取centos7镜像
$ docker pull centos　　大概是70多M，使用阿里云等Docker加速器的话很快就能下载完，之后在镜像列表中就可以看到
　　查看镜像列表的命令：
$ docker images安装SSH
　　以centos7镜像为基础，构建一个带有SSH功能的centos
$ vi Dockerfile　　内容：
FROM centos　　
MAINTAINER ljh@hdd520.cn
　　

　　
RUN yum install -y openssh-server sudo
　　
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
　　
RUN yum  install -y openssh-clients
　　

　　
RUN echo "root:abc123" | chpasswd
　　
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
　　
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
　　
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
　　

　　
RUN mkdir /var/run/sshd
　　
EXPOSE 22
　　
CMD ["/usr/sbin/sshd", "-D"]
　　这段内容的大意是：以 centos 镜像为基础，安装SSH的相关包，设置了root用户的密码为 abc123，并启动SSH服务
　　执行构建镜像的命令，新镜像命名为 centos7-ssh
$ docker build -t="centos7-ssh" .　　执行完成后，可以在镜像列表中看到
$ docker images构建Hadoop镜像
　　上面是运行了3个centos容器，需要在每个容器中单独安装Hadoop环境，我们可以像构建SSH镜像一样，构建一个Hadoop镜像，然后运行3个Hadoop容器，这样就更简单了
$ vi Dockerfile　　内容：
FROM centos7-ssh　　
ADD jdk-8u151-linux-x64.tar.gz /usr/local/
　　
RUN mv /usr/local/jdk1.8.0_151 /usr/local/jdk1.8
　　
ENV JAVA_HOME /usr/local/jdk1.8
　　
ENV PATH $JAVA_HOME/bin:$PATH
　　

　　
ADD hadoop-3.1.0.tar.gz /usr/local
　　
RUN mv /usr/local/hadoop-3.1.0 /usr/local/hadoop
　　
ENV HADOOP_HOME /usr/local/hadoop
　　
ENV PATH $HADOOP_HOME/bin:$PATH
　　

　　
RUN yum install -y which sudo
　　这里是基于 centos7-ssh 这个镜像，把 JAVA 和 Hadoop 的环境都配置好了
　　前提：在Dockerfile所在目录下准备好 jdk-8u101-linux-x64.tar.gz 与 hadoop-2.7.3.tar.gz
　　执行构建命令，新镜像命名为 hadoop
$ docker build -t="hadoop" .　　在/etc/hosts文件中添加3台主机的主机名和ip地址对应信息
　　172.17.0.2      hadoop2
　　172.17.0.3      hadoop3
　　172.17.0.4      hadoop4
　　在docker中直接修改/etc/hosts文件，在重启容器后会被重置、覆盖。因此需要通过容器启动脚本docker run的--add-host参数将主机和ip地址的对应关系传入，容器在启动后会写入hosts文件中。如：
　　docker run --name hadoop2--add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 hadoop
　　docker exec -it hadoop2 bash
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa　　
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
　　
$ chmod 0600 ~/.ssh/authorized_keys
　　hadoop部署
　　1.在workers文件中定义工作节点
　　在hadoop根目录下的etc/hadoop目录下新建workers文件，并添加工作节点主机信息。
　　按照步骤一中的主机规划，工作节点主机为hadoop3和hadoop4两台主机。如：
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/workers　　
hadoop3
　　
hadoop4
　　2、修改配置文件信息
　　a、在hadoop-env.sh中，添加JAVA_HOME信息
[root@9e4ede92e7db ~]# cat /usr/local/hadoop/etc/hadoop/hadoop-env.sh |grep JAVA_HOME　　
#  JAVA_HOME=/usr/java/testing hdfs dfs -ls
　　
# Technically, the only required environment variable is JAVA_HOME.
　　
# export JAVA_HOME=
　　
JAVA_HOME=/usr/local/jdk1.8
　　b、core-site.xml
configuration>　　
fs.default.name
　　
hdfs://hadoop2:9000
　　

　　

　　
io.file.buffer.size
　　
131072
　　

　　

　　
hadoop.tmp.dir
　　
/home/hadoop/tmp
　　
Abase for other temporary directories.
　　

　　

　　c、hdfs-site.xml
　　

　　
dfs.namenode.secondary.http-address
　　
hadoop2:9001
　　
# 通过web界面来查看HDFS状态
　　

　　

　　
dfs.namenode.name.dir
　　
/home/hadoop/dfs/name
　　

　　

　　
dfs.datanode.data.dir
　　
/home/hadoop/dfs/data
　　

　　

　　
dfs.replication
　　
2
　　
# 每个Block有2个备份
　　

　　

　　
dfs.webhdfs.enabled
　　
true
　　

　　

　　d、yarn-site.xml
　　

　　

　　
yarn.nodemanager.aux-services
　　
mapreduce_shuffle
　　

　　

　　
yarn.nodemanager.aux-services.mapreduce.shuffle.class
　　
org.apache.hadoop.mapred.ShuffleHandler
　　

　　

　　
yarn.resourcemanager.address
　　
hadoop2:8032
　　

　　

　　
yarn.resourcemanager.scheduler.address
　　
hadoop2:8030
　　

　　

　　
yarn.resourcemanager.resource-tracker.address
　　
hadoop2:8031
　　

　　

　　
yarn.resourcemanager.admin.address
　　
hadoop2:8033
　　

　　

　　
yarn.resourcemanager.webapp.address
　　
hadoop2:8088
　　

　　

　　
yarn.nodemanager.resource.memory-mb
　　
1024
　　

　　

　　
yarn.nodemanager.resource.cpu-vcores
　　
1
　　

　　

　　e、mapred-site.xml
　　

　　
mapreduce.framework.name
　　
yarn
　　

　　

　　
mapreduce.jobhistory.address
　　
hadoop2:10020
　　

　　

　　
mapreduce.jobhistory.webapp.address
　　
hadoop2:19888
　　

　　

　　f、为防止进坑提前做好准备
　　vi start-dfs.sh   vi stop-dfs.sh
HDFS_DATANODE_USER=root　　
#HADOOP_SECURE_DN_USER=hdfs
　　
HDFS_NAMENODE_USER=root
　　
HDFS_SECONDARYNAMENODE_USER=root
　　
HDFS_DATANODE_SECURE_USER=hdfs
　　vi start-yarn.sh   vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root　　
HADOOP_SECURE_DN_USER=yarn
　　
YARN_NODEMANAGER_USER=root
　　注意：
　　以上步骤完成以后停止当前容器，并使用docker命令保持到一个新的镜像。使用新的镜像重新启动集群，这样集群每台机器都有相同的账户、配置和软件，无需再重新配置。如：
　　a、停止容器
docker stop hadoop2　　b、保存镜像
docker commit hadoop2 hadoop_me:v1.0　　测试
　　1、端口映射
　　集群启动后，需要通过web界面观察集群的运行情况，因此需要将容器的端口映射到宿主主机的端口上，可以通过docker run命令的-p选项完成。比如：
　　将yarn任务调度端口映射到宿主主机8088端口上：
docker run -it -p 8088:8088 hadoop_me:v1.0　　2、从新镜像启动3个容器
docker run --name hadoop2 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5002:22 -p 9870:9870 -p 8088:8088 -p 19888:19888　　
hadoop_me:v1.0
　　

　　
docker run --name hadoop3 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5003:22 hadoop_me:v1.0
　　

　　
docker run --name hadoop4 --add-host hadoop2:172.17.0.2 --add-host hadoop3:172.17.0.3 --add-host hadoop4:172.17.0.4 -d -p 5004:22 hadoop_me:v1.0
　　3.格式化
　　进入到/usr/local/hadoop目录下
　　执行格式化命令
bin/hdfs namenode -format　　修改hadoop2中hadoop的一个配置文件etc/hadoop/slaves
　　删除原来的所有内容，修改为如下
hadoop3　　
hadoop4
　　在hadoop2中执行命令
scp  -rq /usr/local/hadoop   hadoop3:/usr/local　　
scp  -rq /usr/local/hadoop   hadoop4:/usr/local
　　4.在master主机上执行start-all.sh脚本启动集群
　　5.通过web页面访问