Hadoop 1: NCDC 数据准备

cxs7225032

17/10/01 13:05:36 WARN streaming.StreamJob: -file option is deprecated, please use generic option -files instead.　　packageJobJar: [/home/hadoop/script/load_ncdc_map.sh, /tmp/hadoop-unjar708897410907700502/] [] /tmp/streamjob2755689666173396550.jar tmpDir=null
　　17/10/01 13:05:37 INFO client.RMProxy: Connecting to ResourceManager at gp-sdw1/192.168.56.12:8032
　　17/10/01 13:05:37 INFO client.RMProxy: Connecting to ResourceManager at gp-sdw1/192.168.56.12:8032
　　17/10/01 13:05:38 INFO mapred.FileInputFormat: Total input paths to process : 1
　　17/10/01 13:05:38 INFO mapreduce.JobSubmitter: number of splits:114
　　17/10/01 13:05:38 INFO Configuration.deprecation: mapred.reduce.tasks is deprecated. Instead, use mapreduce.job.reduces
　　17/10/01 13:05:38 INFO Configuration.deprecation: mapred.map.tasks.speculative.execution is deprecated. Instead, use mapreduce.map.speculative
　　17/10/01 13:05:38 INFO Configuration.deprecation: mapred.task.timeout is deprecated. Instead, use mapreduce.task.timeout
　　17/10/01 13:05:38 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1506832924184_0001
　　17/10/01 13:05:39 INFO impl.YarnClientImpl: Submitted application application_1506832924184_0001
　　17/10/01 13:05:39 INFO mapreduce.Job: The url to track the job: http://gp-sdw1:8088/proxy/application_1506832924184_0001/
　　17/10/01 13:05:39 INFO mapreduce.Job: Running job: job_1506832924184_0001
　　17/10/01 13:05:46 INFO mapreduce.Job: Job job_1506832924184_0001 running in uber mode : false
　　17/10/01 13:05:46 INFO mapreduce.Job:  map 0% reduce 0%
　　17/10/01 13:06:00 INFO mapreduce.Job:  map 1% reduce 0%
　　17/10/01 13:06:04 INFO mapreduce.Job:  map 2% reduce 0%
　　17/10/01 13:06:09 INFO mapreduce.Job:  map 3% reduce 0%
　　17/10/01 13:06:12 INFO mapreduce.Job:  map 4% reduce 0%
　　17/10/01 13:06:17 INFO mapreduce.Job:  map 5% reduce 0%
　　17/10/01 13:06:23 INFO mapreduce.Job:  map 6% reduce 0%
　　17/10/01 13:06:25 INFO mapreduce.Job:  map 7% reduce 0%
　　17/10/01 13:06:28 INFO mapreduce.Job:  map 11% reduce 0%
　　17/10/01 13:06:32 INFO mapreduce.Job:  map 12% reduce 0%
　　17/10/01 13:06:34 INFO mapreduce.Job:  map 13% reduce 0%
　　17/10/01 13:06:37 INFO mapreduce.Job:  map 14% reduce 0%
　　17/10/01 13:06:38 INFO mapreduce.Job:  map 17% reduce 0%
　　17/10/01 13:06:39 INFO mapreduce.Job:  map 19% reduce 0%
　　17/10/01 13:06:56 INFO mapreduce.Job:  map 20% reduce 0%
　　17/10/01 13:07:02 INFO mapreduce.Job:  map 21% reduce 0%
　　17/10/01 13:07:12 INFO mapreduce.Job:  map 22% reduce 0%
　　17/10/01 13:07:14 INFO mapreduce.Job:  map 23% reduce 0%
　　17/10/01 13:07:16 INFO mapreduce.Job:  map 24% reduce 0%
　　17/10/01 13:07:17 INFO mapreduce.Job:  map 25% reduce 0%
　　17/10/01 13:07:52 INFO mapreduce.Job:  map 27% reduce 0%