ant打包hadoop包，上传，并执行ant.xml配置

liuyuehua

<?xml version="1.0" encoding="UTF-8"?>
<!--project 用于定义一个ant工程，其中的三项name、default、basedir缺一不可。 作用分别为：定义工程名、制定默认执行的任务、以及工程基础的路径型(它是计算其它路径的基础，一般情况下使用.即在java工程根目录即可) -->
<project name="log" default="compile" basedir=".">
<!--描述，个人觉得就是一提示作用，没什么实际用途 -->
<description>use jar test</description>
<!--定义源文件路径，其中的value换成location也行，使用value的时候，${src}得到的就是src这个值，如果使用location，得到的是src这个目录的绝对路径 -->
<property name="src" value="src" />
<property name="classes" value="bin/classes" />
<property name="path.build.classes" value="${classes}" />
<property name="main.class" value="com.dzqd.hadoop.daemon.job.log.detail.LogDetailCommon" />


<property name="hbaselib" value="E:/soft/hadoop/hbase-0.99.0/lib" />
<property name="host" value="master" />
<property name="jarpath" value="/home/master/testjar" />
<property name="address" value="${host}:${jarpath}" />  
<property name="user" value="master" />  
<property name="password" value="123" />  

<!--单独一个jar包，不在lib以及lib2目录下，使用一个单独的property定义，以便引用
<property name="lib0" value="${jsonlib}${jsonjar}" />-->
<!--构造打包时Class-Path需要的路径 -->
<!--pathconvert用于对目录进行组合 property即这个组合的名字，pathsep作用是各个文件之间的分隔符，
如果不写，在windows平台默认是分号。但时在MANIFEST.MF这个文件中，各个jar包之间要用空格区分，
因此。这里就写成空格了
-->
<pathconvert property="lib1" pathsep=" ">
<!--mapper,对路径组合方式进行控制-->
<mapper>
<!--chainedmapper 作用是联合多个mapper-->
<chainedmapper>
<!--过滤文件，将路径去掉，只保留文件名-->
<flattenmapper />
<!--过滤+转换器，将所有的文件名前面都加上一个lib，我们知道lib目录下面有jar包，
lib/*的作用其实是将jar包名与路径进行组合形成如：lib/google.jar这样的相对路径
-->
<globmapper from="*" to="${hbaselib}/*" />
</chainedmapper>
</mapper>
<!--按照mapper定义的格式组合lib目录下面的所有jar文件，形成诸如lib/jar1.jar lib/jar2.jar的字符串-->
<fileset dir="${hbaselib}">
<include name="*.jar" />
</fileset>
</pathconvert>

<!--同lib，此处不再解释-->
<pathconvert property="lib2" pathsep=" ">
<mapper>
<chainedmapper>
<flattenmapper />
<globmapper from="*" to="lib/*" />
</chainedmapper>
</mapper>
<fileset dir="lib">
<include name="*.jar" />
</fileset>
</pathconvert>

<!--组合各个路径，构成MANIFEST.MF文件中Class-Path所需的字符串-->
<property name="libs" value="${lib1} ${lib2}" />
<!--打印一下刚才构造好的字符串，看看是否符合要求
<echo>libs   ${libs}</echo>-->
<!-- 构造打包时Class-Path需要的路径 结束-->
<!--创建任务init，负责初始化一些条件-->
<target name="init">
<!-- 创建存放编译后的class的目录
mkdir可以创建多级目录
-->
<mkdir dir="${classes}" />
</target>
<!--创建编译任务，名字是compile,depends指定了comiple任务依赖init任务-->
<target name="compile" depends="init" description="comile target">
<!--javac，编译，对应java中的javac命令。
其中srcdir定义源文件路径 destdir定义编译后文件路径，
includeantruntime作用是指定编译任务是否包含ant的classpath,可有可无，不影响编译，
但不写可能会出现警告，为了眼不见心不烦，加上吧-->
<javac srcdir="${src}" destdir="${classes}" includeantruntime="true">
<!-- classpath 定义编译需要的claspath -->
<classpath>
<fileset dir="${hbaselib}">
<include name="*.jar" />
</fileset>
<fileset dir="lib">
<include name="*.jar" />
</fileset>
</classpath>
</javac>
</target>

<!-- 创建时间戳 -->
<tstamp />
<!--定义jarfilename，准备进行打包操作。其中ant.project.name是ant默认的一个变量，值为最上面定义的project的name
${DSTAMP}为日期，格式为20111123；${TSTAMP}为时间，格式为2256，表示22点56分。 -->
<property name="jarfilename" value="${ant.project.name}-${DSTAMP}.jar" />

<!--打包开始，名字为jar，依赖任务为compile -->
<target name="local-jar" depends="compile" description="make jar file">
<echo message="将class打包，输出到${classes}" />
<!-- 配置文件拷贝 -->  
<copy todir="${path.build.classes}">  
<fileset dir="${src}">  
<include name="**/*.xml" />  
<include name="**/log4j.properties" />
<exclude name="**/ant.xml" />
</fileset>  
</copy>
<!-- <mkdir dir="${dist.dir}" / -->
<!--jar操作，jarfile指定jar包存放路径，basedir为编译后的class的目录 -->
<jar jarfile="${jarfilename}" basedir="${classes}">
<!-- 打包要打进的第三方包，解压打进去的方式 -->
<zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" />
<zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" />
<!--为jar包指定manifest，当然，如果jar包不需要打成runnable的形式，manifest可以不要 -->
<manifest>
<!--指定main-class -->
<attribute name="Main-Class"
value="${main.class}" />
<!--指定Class-Path -->
<attribute name="Class-Path" value="${libs}">
</attribute>
</manifest>
</jar>
</target>

<!-- 第三方包单独放在lib目录下的方法(hadoop jar执行打包方法) -->
<target name="hadoop-jar" depends="compile" description="Create binary distribution">
<!-- 首先，我们把所有的第三方jar都复制到build/lib目录中 -->
<copy todir="${path.build.classes}/lib">
<fileset dir="lib">
<include name="**/*.jar" />
<!-- 因为hadoop-*-core.jar在hadoop系统中已经有了，我们就不对其打包了 -->
<exclude name="**/hadoop-*-core.jar" />
</fileset>
</copy>
<!-- 配置文件拷贝 -->  
<copy todir="${path.build.classes}">  
<fileset dir="${src}">  
<include name="**/*.xml" />  
<include name="**/log4j.properties" />
<exclude name="**/ant.xml" />
</fileset>  
</copy>
<!-- 列出所有jar文件的名字，并生成一个有效的classpath字符串，放在hadoop-jar.classpath中 -->
<pathconvert property="hadoop-jar.classpath" pathsep=" ">
<regexpmapper from="^(.*)/lib/(.*\.jar)$" to="lib/\2" />
<path>
<fileset dir="${path.build.classes}/lib">
<include name="**/*.jar" />
</fileset>
</path>
</pathconvert>
<!-- 生成一个Manifest文件，包含刚生成的classpath字符串和这个jar的默认运行类 -->
<manifest file="MANIFEST.MF">
<!--<attribute name="Class-Path" value="${hadoop-jar.classpath}" /> -->
<attribute name="Main-Class" value="${main.class}" />
</manifest>
<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
<jar basedir="${path.build.classes}" manifest="MANIFEST.MF"
jarfile="${jarfilename}">
<include name="**/*.class" />
<include name="**/*.jar" />
<!-- 配置文件拷贝 -->  
<include name="*.xml" />  
<include name="log4j.properties" />
<exclude name="ant.xml" />
</jar>
<!-- 删除manifest文件 -->
<delete dir="${path.build.classes}/lib" />
<delete file="MANIFEST.MF" />
</target>

<!-- 第三方包单独放在lib目录下的方法(hbase main-class执行打包方法) -->
<!--
export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:your-jar.jar
hbase your-mainClass /input /output tableName
-->
<target name="hbase-jar" depends="compile" description="Create binary distribution">
<!-- 生成一个Manifest文件，包含刚生成的classpath字符串和这个jar的默认运行类 -->
<manifest file="MANIFEST.MF">
<attribute name="Main-Class" value="${main.class}" />
</manifest>
<!-- 配置文件拷贝 -->  
<copy todir="${path.build.classes}">  
<fileset dir="${src}">  
<include name="**/*.xml" />  
<include name="**/log4j.properties" />
<exclude name="**/ant.xml" />
</fileset>  
</copy>  
<!-- 把刚才生成的Manifest文件、程序的类文件和所有依赖的第三方jar都打包在一个jar中 -->
<jar basedir="${path.build.classes}" manifest="MANIFEST.MF"
jarfile="${jarfilename}">
<include name="**/*.class" />
<!-- 打包要打进的第三方包，解压打进去的方式 -->
<zipfileset includes="**/*.*" src="lib/hbase-daemon-1.0.0-SNAPSHOT.jar" />
<zipfileset includes="**/*.*" src="lib/json-simple-1.1.jar" />
<!-- 配置文件拷贝 -->  
<include name="**/*.xml" />  
<include name="**/log4j.properties" />
<exclude name="**/ant.xml" />
</jar>
<!-- 删除manifest文件 -->
<delete file="MANIFEST.MF" />
</target>

<!--运行一下jar包，试试看效果 -->
<target name="local-run" depends="local-jar">
<!--其实这里就是运行jar命令，注意fork一定加上，不然不起作用 -->
<java jar="${jarfilename}" fork="true">
</java>
</target>

<!-- 清理 -->
<target name="clean">
<!-- 可以以递归的方式删除目录 -->
<delete dir="${classes}" />
<delete dir="." includes="${jarfilename}" />
</target>

<target name="upload" description="上传">  
<echo message="将jar上传服务器" />  
<scp file="${jarfilename}" todir="${user}:${password}@${address}"   
trust="true" verbose="true"/>  
<echo message="上传完毕" />  
</target>  
<target name="jar-upload" depends="hbase-jar" description="上传">  
<echo message="将jar上传服务器" />  
<scp file="${jarfilename}" todir="${user}:${password}@${address}"   
trust="true" verbose="true"/>  
<echo message="上传完毕" />  
</target>
<target name="ssh-run" description="执行job">  
<sshexec host="${host}" username="${user}"  password="${passwrod}"  
trust="true" command="export HBASE_CLASSPATH=$HADOOP_HOME/etc/hadoop:${jarpath}/${jarfilename}/;hbase ${main.class}"/>  
</target>
</project>