如何向hadoop集群定时提交一个jar作业？

jdxyzlh

除了使用Hive，Pig来执行一个MapReduce任务，不需要专门的把项目打成jar包，提交执行，或者定时执行，因为Hive，Pig这些开源框架已经，帮我们自动打包上传了。
而有些时候，我们自己手写了一个MapReduce的任务，然后这个任务里面依赖了其他的第三方包，比如说是Lucene的，或者是Solr，ElasticSearch的，那么打包的时候就需要将这些依赖的jar包也一起的打包进去。
如果你用的是maven，那么事情就简单了，maven会自动把所有依赖的jar包，打成一个统一的jar，但是通常不需要maven，因为maven相对来说，还是比较复杂，我们更倾向于使用ant来打包，配置很灵活。
那么，如何向hadooop集群提交作业呢？
通常的命令如下：
hadoop jar  xxx.jar input out
这样就会把jar包提交到hadoop集群上，只要包含依赖的jar也在这个jar包中，那么程序就不会出问题。
那么，问题来了？ 我想定时执行一个作业，应该怎么写呢
如果直接在linux下的crontab中，写定时启动的脚本，没问题，但是如果你的脚本是启动一个mr的任务，那么就有可能出现问题了，因为执行MR，是需要Hadoop的环境变量的，在crontab启用的shell进程，默认是没有激活环境变量的，所以，你有可能发现，自己的写的crontab脚本，奇怪的失效了。
如何解决在crontab的进程里环境变量失效的问题？
很简单，在启动的脚本开始前，再次激活的环境变量即可，代码如下：
#!/bin/bash
##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
. /etc/profile
. ~/.bash_profile

另外在crontab中，需要cd到当前目录下，执行，否则一些log不会被正确到该工程，或目录下：

//在下午的14点39分启动一个定时任务，使用nohup 挂起后台运行，并将所有的log重定向到一个log文件里
39 14 * * *  cd /home/search/qindongliang/cr-dataload ; nohup sh start.sh 1  2015-04-10 all &> rate.log    &  

另外一点需要注意，如果在crontab的进程中执行任务，那么最好使用nohup挂起后台运行，否则，hadoop的系统log会丢失，因为默认是在终端的界面上打印的。
[search@fsedump01sand cr-dataload]$ cat start.sh
#!/bin/bash
##下面的2行代码很重要，如果不再次激活环境变量，hadoop的jar就不能正确提交任务
. /etc/profile
. ~/.bash_profile

echo "hadoop的home："$HADOOP_HOME
echo `pwd`
if [ ! $# -eq 3  ] ; then
echo "第一个参数：请输入要处理的dataload业务 1:rate 2:keyword  "
echo "第二个参数：请输入读取HDFS上读取数据的开始日期, 例如: 2015-04-10  "
echo "第三个参数：请输入读取HDFS上读取数据的结束日期, 例如: 2015-05-10  "
exit
fi
#参数1,mapping文件的地址
p1="/user/d1/mapping.xml"
#参数4，是否清空上一次的保存目录，0=清除，1=不清除
p4="0"
if [ $1 -eq  1  ] ; then
#参数2，处理数据的输入路径
p2="1"  
p3="/fse2/conversions/rate/shard1/input"
p5="rate"
elif [ $1 -eq 2 ] ; then
#参数2，处理数据的输入路径
p2="2"
p3="/fse2/conversions/keyword/shard1/input"
#参数5，控制那个索引的
p5="keyword"
else
echo  "不支持此参数，只能输入1或者2，请注意!"
exit
fi

echo "==============参数信息=============="
echo $p1
echo $p2
echo $p3
echo $p4
echo $p5
echo $2
echo $3
echo "===================================="
#exit

#参数3，处理数据结果的保存路径
#p3="/user/d1/uvoutput"
#p3="/user/d1/kwoutput"
#p3="/fse2/conversions/keyword/shard1/input"
#p3="/fse2/conversions/uv/shard1/input"

#参数4，是否清空上一次的保存目录，0=清除，1=不清除
#p4="0"
#参数5，控制那个索引的
#p5="keyword"
#p5="uv"

cs='.:'
root="`pwd`/"
curr="`pwd`/conf"
echo $curr

libpath="`pwd`/lib/"
FILES=`ls $libpath`
for txt in $FILES;do
cs=$cs$libpath$txt:
done
cs=$cs$curr:$root"cr-dataload.jar"
echo $cs
echo [`date`] "开始启动dataload!"
#nohup sh offline.sh  2014-12-01 2014-12-15 &> nohup.out &
#hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert -libjars $cs
#java -cp $cs  com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3
#/home/search/hadoop/bin/hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3  > $p2.log
hadoop jar  cr-dataload.jar   com.dhgate.search.rate.convert.StoreConvert  $p1 $p2 $p3 $p4 $p5 $2 $3
#echo $cs