Hadoop Map&Reduce个数优化设置以及JVM重用

liuyuehua

       Hadoop与JVM重用对应的参数是mapred.job.reuse.jvm.num.tasks，默认是1，表示一个JVM上最多可以顺序执行的task数目（属于同一个Job）是1。也就是说一个task启一个JVM。
 


       比如在集群中配置每个slave节点最多同时运行16个map和2个reduce。那么在map阶段，slave节点会启动最多16个JVM用于map。如下：
 
 
dm@slave01:/usr/local/hadoop/conf$ jps
4883 Child
4924 Child
4680 Child
4622 Child
4743 Child
4838 Child
4719 Child
4650 Child
4649 Child
5299 Jps
32296 TaskTracker
4663 Child
4767 Child
4897 Child
4794 Child
4878 Child
4698 Child
4633 Child
32049 DataNode
　　dm@slave01:/usr/local/hadoop/conf$ ps -e | grep java
　　12597 ?        00:00:02 java
　　12624 ?        00:00:02 java
　　12646 ?        00:00:02 java
　　12661 ?        00:00:02 java
　　12695 ?        00:00:01 java
　　12707 ?        00:00:02 java
　　12710 ?        00:00:02 java
　　12715 ?        00:00:02 java
　　12741 ?        00:00:02 java
　　12787 ?        00:00:01 java
　　12818 ?        00:00:01 java
　　12823 ?        00:00:02 java
　　12831 ?        00:00:01 java
　　12870 ?        00:00:01 java
　　12895 ?        00:00:01 java
　　12922 ?        00:00:01 java
　　32049 ?        00:00:38 java
　　32296 ?        00:00:14 java
　　      其中前两个是固定的进程。
       为每个task启动一个新的JVM将耗时1秒左右，对于运行时间较长（比如1分钟以上）的job影响不大，但如果都是时间很短的task，那么频繁启停JVM会有开销。


       如果我们想使用JVM重用技术来提高性能，那么可以将mapred.job.reuse.jvm.num.tasks设置成大于1的数。这表示属于同一job的顺序执行的task可以共享一个JVM，也就是说第二轮的map可以重用前一轮的JVM，而不是第一轮结束后关闭JVM，第二轮再启动新的JVM。


       那么最多一个JVM能顺序执行多少个task才关闭呢？这个值就是mapred.job.reuse.jvm.num.tasks。如果设置成-1，那么只要是同一个job的task（无所谓多少个），都可以按顺序在一个JVM上连续执行。


       如果task属于不同的job，那么JVM重用机制无效，不同job的task需要不同的JVM来运行。


      JVM重用技术不是指同一Job的两个或两个以上的task可以同时运行于同一JVM上，而是排队按顺序执行。
       一个tasktracker最多可以同时运行的task数目由mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum
决定，并且这两个参数在mapred-site.xml中设置。其他方法，如在JobClient端通过命令行-Dmapred.tasktracker.map.tasks.maximum=number或者conf.set("mapred.tasktracker.map.tasks.maximum","number")设置都是无效的。
 
mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum的设置可参考:
 
Genie13的Hadoop 关于最大map reducer数目