hadoop job推测执行

xiang8

 

什么是推测执行？

所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一个kill掉

 

怎么配置推测执行参数？

推测执行需要设置Job的两个参数：

    mapred.map.tasks.speculative.execution
    mapred.reduce.tasks.speculative.execution

两个参数的默认值均为true.



 

推测执行调度策略是什么？

推测执行逻辑：

// 1. Check bottom up for speculative tasks from the running cache



// 2. Check breadth-wise for speculative tasks

// 3. Check non-local tips for speculation

关键逻辑比较执行时间超过平均task执行时间某个百分比，定位为需要推测执行的job

//SPECULATIVE_GAP =0.2
(averageProgress - progress >= SPECULATIVE_GAP ) && (currentTime - startTime >= SPECULATIVE_LAG






 

P.s. 看源码的时候看到调度map task的策略，故记下。

JobInProgress添加新的maptask的调度策略



// When scheduling a map task:

//  0) Schedule a failed task without considering locality

//  1) Schedule non-running tasks

//  2) Schedule speculative tasks

//  3) Schedule tasks with no location information

map task调度策略：

1、失败的task，不考虑地点

2、没跑过的task

3、推测执行的task

4、nonLocalRunningMaps中的task