Hadoop自动化运维之创建deb包

12343052

　　2014第一篇博文，将来也会逐步写成一个系列，新年新气象。
　　将hadoop及其周边生态系统deb/rpm化对于自动化运维来说意义重大，建立好整个生态的rpm和deb然后再创建本地yum或者apt的源，可大大简化hadoop的部署和运维。实际上，cloudera和hortonworks都是这么做的。
　　本来想把rpm和deb都写了，不过估计篇幅不够，还是分开吧，先从deb讲起。deb创建比较容易一些，不需要写什么spec脚本。
　　以hadoop 2.2.0为例，apache官方并不提供基于2.0的rpm和deb，所以我们自己想法去创建自己的修改过的rpm和deb。
　　一、先下载hadoop编译后的包，大概100多兆，然后解压缩
#wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz　　
#tar zxf hadoop-2.2.0.tar.gz
　　二、创建打包需要的文件夹
#mkdir -p /opt/hadoop_2.2.0-1_amd64/DEBIAN　　
#mkdir -p /opt/hadoop_2.2.0-1_amd64/usr
　　
#mkdir -p /opt/hadoop_2.2.0-1_amd64/etc
　　其中DEBIAN是放置打包脚本用的，usr和etc是将来打包后将会安装到的路径。最后打包完成后，这里的usr目录对应的就是未来linux系统里面的/usr目录，etc目录对应的就是linux系统的/etc目录。
　　三、将hadoop里面的东西复制到目的文件夹
　　第一步解压缩后的hadoop-2.2.0文件夹下应该有如下一些文件夹。
　　-bin
　　-etc
　　--|-hadoop
　　-sbin
　　-share
　　-lib
　　-libexec
　　-include
　　原始tar包里面的hadoop大概的文件夹结构大概是这样的。然后执行复制。
#tar zxf hadoop-2.2.0.tar.gz　　
#cd hadoop-2.2.0
　　
#cp -rf bin sbin lib libexec share include /opt/hadoop_2.2.0-1_amd64/usr/
　　
#cp -rf etc/hadoop /opt/hadoop_2.2.0-1_amd64/etc/
　　复制后的打包文件夹/opt/hadoop_2.2.0-1_amd64/目录结构应大致如下
　　-DEBIAN
　　-etc
　　--|-hadoop
　　-usr
　　--|-bin
　　--|-sbin
　　--|-include
　　--|-lib
　　--|-libexec
　　--|-share
　　然后开始编写DEBIAN文件夹下的控制文件，ubuntu和debian打包相对rpm简单一些，只需要写几个独立的脚本文件即可。
　　进入DEBIAN文件夹，先编辑元数据文件control
#cd /opt/hadoop_2.2.0-1_amd64/DEBIAN　　
#vi control
　　输入以下内容
Package: hadoop　　
Version: 2.2.0-GA
　　
Section: misc
　　
Priority: optional
　　
Architecture: amd64
　　
Provides: hadoop
　　
Maintainer: Xianglei

　　
Description: The Apache Hadoop project develops open-source software for>　　保存退出，然后编辑同目录下的conffile，用来监视安装后配置文件的变化，以在卸载的时候保留更改后的配置文件。
#vi /opt/hadoop_2.2.0-1_amd64/DEBIAN/conffile　　输入以下内容
/etc/hadoop/core-site.xml　　
/etc/hadoop/hdfs-site.xml
　　
/etc/hadoop/mapred-site.xml
　　
/etc/hadoop/yarn-site.xml
　　
/etc/hadoop/hadoop-env.sh
　　
/etc/hadoop/yarn-env.sh
　　继续。还有四个控制文件需要编辑，分别是postinst安装后操作，postrm删除前操作，preinst安装前操作，prerm删除前操作，都是以脚本的形式来编写。放一起写。
#vi postinst　　
#------
　　
mkdir -p /usr/etc
　　
ln -s /etc/hadoop /usr/etc/hadoop
　　
rm -f /etc/hadoop/hadoop
　　
#------
　　
#vi postrm
　　
#------
　　
/usr/sbin/userdel hdfs 2> /dev/null >/dev/null
　　
/usr/sbin/userdel mapred 2> /dev/null >/dev/null
　　
/usr/sbin/groupdel hadoop 2> /dev/null >dev/null
　　
exit 0
　　
#------
　　
#vi preinst
　　
#------
　　
getent group hadoop 2>/dev/null >/dev/null || /usr/sbin/groupadd -g 123 -r hadoop
　　
/usr/sbin/useradd --comment "Hadoop MapReduce" -u 202 --shell /bin/bash -M -r --groups hadoop --home /var/lib/hadoop/mapred mapred 2> /dev/null || :
　　
/usr/sbin/useradd --comment "Hadoop HDFS" -u 201 --shell /bin/bash -M -r --groups hadoop --home /var/lib/hadoop/hdfs hdfs 2> /dev/null || :
　　
#------
　　
#vi prerm
　　
#------
　　
#不写内容，空即可
　　
#------
　　这时候基本就完事了，当然，你还需要修改一下hadoop脚本里面的路径输出配置，以适应打包安装后的路径。这个就很简单了，没啥可说的了。
　　然后在shell里面执行
#cd /opt　　
#dpkg -b hadoop_2.2.0-1_amd64
　　然后你将会得到hadoop_2.2.0-1_amd64.deb安装包。用dpkg -i 命令安装试试吧。做饭吃去了，下一次说做apt源和rpm包的办法。