Hadoop集群部署实战(cdh发行版)

2168575

vim  /etc/hadoop/conf/yarn-site.xml　　

　　

　　

　　

　　

　　

　　

　　
yarn.nodemanager.aux-servicesmapreduce_shuffle
　　
yarn.nodemanager.aux-services.spark_shuffle.classorg.apache.spark.network.yarn.YarnShuffleService
　　
yarn.nodemanager.aux-services.mapreduce_shuffle.classorg.apache.hadoop.mapred.ShuffleHandler
　　

　　
yarn.resourcemanager.scheduler.classorg.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler
　　

　　
yarn.application.classpath$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*
　　

　　

　　

　　
yarn.log-aggregation-enabletrue
　　
yarn.nodemanager.remote-app-log-dirhdfs://mycluster/var/log/hadoop-yarn/apps
　　

　　

　　
yarn.nodemanager.vmem-pmem-ratio10
　　

　　
yarn.nodemanager.resource.memory-mb10360
　　

　　
yarn.nodemanager.resource.cpu-vcores4
　　

　　
yarn.nodemanager.pmem-check-enabledtrue
　　

　　
yarn.nodemanager.vmem-check-enabledtrue
　　

　　
yarn.resourcemanager.scheduler.client.thread-count64
　　

　　
yarn.nodemanager.container-manager.thread-count64
　　

　　
yarn.resourcemanager.resource-tracker.client.thread-count64
　　

　　
yarn.resourcemanager.client.thread-count64
　　

　　
yarn.nodemanager.localizer.client.thread-count20
　　

　　
yarn.nodemanager.localizer.fetch.thread-count20
　　

　　
yarn.scheduler.minimum-allocation-mb1536
　　

　　
yarn.scheduler.maximum-allocation-mb9192
　　

　　
yarn.log-aggregation-enabletrue
　　

　　
yarn.label.enabledtrue
　　

　　

　　

　　
yarn.resourcemanager.connect.retry-interval.ms2000
　　

　　
yarn.web-proxy.address10.10.103.15:8100
　　

　　
yarn.log.server.urlhttp://10.10.103.15:19888/jobhistory/logs/
　　

　　
yarn.resourcemanager.hostname.10.10.103.1510.10.103.15
　　
yarn.resourcemanager.hostname.10.10.30.8310.10.30.83
　　

　　
yarn.resourcemanager.zk-address10.10.20.64:2181,10.10.40.212:2181,10.10.102.207:2181
　　

　　
yarn.resourcemanager.address.10.10.103.1510.10.103.15:23140
　　

　　
yarn.resourcemanager.scheduler.address.10.10.103.1510.10.103.15:23130
　　

　　
yarn.resourcemanager.webapp.https.address.10.10.103.1510.10.103.15:23189
　　

　　
yarn.resourcemanager.webapp.address.10.10.103.1510.10.103.15:8088
　　

　　
yarn.resourcemanager.resource-tracker.address.10.10.103.1510.10.103.15:23125
　　

　　
yarn.resourcemanager.admin.address.10.10.103.1510.10.103.15:23141
　　

　　
yarn.resourcemanager.address.10.10.30.8310.10.30.83:23140
　　

　　
yarn.resourcemanager.scheduler.address.10.10.30.8310.10.30.83:23130
　　

　　
yarn.resourcemanager.webapp.https.address.10.10.30.8310.10.30.83:23189
　　

　　
yarn.resourcemanager.webapp.address.10.10.30.8310.10.30.83:8088
　　

　　
yarn.resourcemanager.resource-tracker.address.10.10.30.8310.10.30.83:23125
　　

　　
yarn.resourcemanager.admin.address.10.10.30.8310.10.30.83:23141
　　

　　
yarn.nodemanager.localizer.address0.0.0.0:23344
　　

　　
yarn.nodemanager.webapp.address0.0.0.0:23999
　　
mapreduce.shuffle.port23080
　　

　　
yarn.resourcemanager.work-preserving-recovery.enabledtrue
　　

　　

　　
~~~~~~~~~~~~~~~~~分界线~~~~~~~~~~~~~~~~~~~