hadoop mapred-site.xml配置
mapred.job.tracker
192.168.0.5:9001
mapred.job.reuse.jvm.num.tasks
-1
If the value is 1 (the default), then JVMs are not reused (i.e. 1 task per JVM). If it is -1, there is no limit to the number of tasks a JVM can run (of the same job). One can also specify some value greater than 1 using the api JobConf.setNumTasksToExecutePerJvm(int)
mapred.tasktracker.map.tasks.maximum
10
mapred.tasktracker.reduce.tasks.maximum
10
mapred.child.java.opts
-Xmx512m
使用更大的堆用于maps/reduces的子虚拟机
mapred.reduce.parallel.copies
20
reduce启动更多的并行拷贝器以获取大量map的输出。
dfs.namenode.handler.count
20
启动更多的NameNode服务线程去处理来自大量DataNode的RPC请求。
tasktracker.http.threads
40
为TaskTracker的Http服务启用更多的工作线程。reduce通过Http服务获取map的中间输出。
mapred.job.shuffle.input.buffer.percent
0.01
mapred.job.shuffle.merge.percent
0.01
io.sort.mb
10
提高排序时的内存上限。
io.sort.factor
20
文件排序时更多的流将同时被归并。
页:
[1]