hadoop streaming示例

mingche

hadoop streaming示例：


${HADOOP_BIN} streaming \r
                -D mapred.job.name=${JOB_NAME}  # 任务名
                -D stream.memory.limit=1500  # 任务内存限制
                -D mapred.map.capacity.per.tasktracker=1 \r
                -D mapred.reduce.capacity.per.tasktracker=1 \r
                -D mapred.map.tasks=${MAP_TASKS}  # map个数
                -D mapred.job.map.capacity=${MAP_CAPACITY}  # map容量，一般与map个数一致
                -D mapred.reduce.tasks=${RED_TASKS}  # reduce个数
                -D mapred.job.reduce.capacity=${RED_CAPACITY}  # reduce容量，一般与reduce容量一致
                -D mapred.job.priority=${MAPRED_PRIORITY}  # 任务优先级
                -D mapred.userlog.retain.hours=${LOG_RETAIN_HOURS} \r
                -D stream.num.map.output.key.fields=3  # map的结果按前三列排序
                -D num.key.fields.for.partition=1  # 第一列相同的数据分配到同一个reducer
                -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner \r
                -input /log/1079/cpro_pblog_noah/20110814/*/pb.log*  # 输入
                -input /log/1079/cpro_pblog_noah/20110815/*/pb.log*  # 输入
                -input /log/3148/shifen_bdclk_noah/20110814/*/dcharge.bd.*.log*  # 输入
                -input /log/3148/shifen_bdclk_noah/20110815/*/dcharge.bd.*.log*  # 输入
                -output ${REDUCE_OUT}  # 输出
                -mapper "java6/bin/java -classpath ad_trade com.baidu.cm.ufs.Mapper testno.txt"  # mapper程序
                -reducer "java6/bin/java -classpath ad_trade com.baidu.cm.ufs.Reducer"  # reducer程序
                -file ad_trade  # 要上传分发的文件
                -file testno.txt \r
                -cacheArchive /app/ecom/cm/nova.ufs/u-wangyou/java6.tar.gz#java6 # hdfs上要分发的压缩包，解压后的文件夹名为java6