hadoop mapred-site.xml配置

0755mx

　　
　　
　　
　　
　　
　　mapred.job.tracker
　　192.168.0.5:9001
　　
　　
　　mapred.job.reuse.jvm.num.tasks
　　-1
　　If the value is 1 (the default), then JVMs are not reused (i.e. 1 task per JVM). If it is -1, there is no limit to the number of tasks a JVM can run (of the same job). One can also specify some value greater than 1 using the api JobConf.setNumTasksToExecutePerJvm(int)
　　
　　
　　
　　mapred.tasktracker.map.tasks.maximum
　　10
　　
　　
　　
　　mapred.tasktracker.reduce.tasks.maximum
　　10
　　
　　
　　
　　mapred.child.java.opts
　　-Xmx512m
　　使用更大的堆用于maps/reduces的子虚拟机
　　
　　
　　mapred.reduce.parallel.copies
　　20
　　reduce启动更多的并行拷贝器以获取大量map的输出。
　　
　　
　　dfs.namenode.handler.count
　　20
　　启动更多的NameNode服务线程去处理来自大量DataNode的RPC请求。
　　
　　
　　tasktracker.http.threads
　　40
　　为TaskTracker的Http服务启用更多的工作线程。reduce通过Http服务获取map的中间输出。
　　
　　
　　mapred.job.shuffle.input.buffer.percent
　　0.01
　　
　　
　　
　　mapred.job.shuffle.merge.percent
　　0.01
　　
　　
　　
　　io.sort.mb
　　10
　　提高排序时的内存上限。
　　
　　
　　io.sort.factor
　　20
　　文件排序时更多的流将同时被归并。