hadoop 性能调优与运维

???紵

　　hadoop 性能调优与运维
　　

1. 硬件选择　　

2. 操作系统调优与jvm调优　　

3. hadoop参数调优4. hadoop运维　　

　　硬件选择
　　1) hadoop运行环境

　　2)  原则一： 主节点可靠性要好于从节点
　　原则二：多路多核，高频率cpu、大内存，
　　namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量， resourcemanager同时运行的作业会消耗一定的内存。
　　datanode 的内存需要根据cpu的虚拟核数(vcore) 进行配比，CPU的vcore数计算公式为=cpu个数 * 单cpu核数* HT（超线程）
　　内存容量大小 = vcore数 * 2GB(至少2GB)
　　原则三： 根据数据量确定集群规模
　　一天增加10GB, 365天，原数据1TB，replacation=3，   1.3 mapreduce 计算完保存的数据，规划容量
　　（1TB + 10GB*365）*3 *1.3 =17.8TB
　　如果一台datanode的存储空间为2TB，  18/2= 9
　　总节点为 = 9+2 =11
　　还要考虑作业并不是均匀分布的， 有可能会倾斜到某一个时间段，需要预留资源
　　原则四： 不要让网路I/O 成为瓶颈
　　hadoop 作业通常是 I/O密集型而非计算密集型， 瓶颈通常集中出现在I/O上， 计算能力可以通过增加新节点进行线性扩展，要注意网络设别处理能力。

　　操作系统调优
　　1  避免使用swap 分区 将hadoop守护进程的数据交换到硬盘的行为可能会导致操作超时。
　　2 调整内存分配策略
　　操纵系统内核根据vm.oversommit_memory 的值来决定分配策略，并且通过vm.overcommit_ratio的值来设定超过物理内存的比例。
　　3. 修改net.core.somaxconn参数
　　该参数表示socker监听backlog的上限，默认为128,socker的服务器会一次性处理backlog中的所有请求，hadoop的ipc.server.listen.queue.size参数和linux的net.core.somaxconn
　　参数控制了监听队列的长度，需要调大。
　　4.增大同时打开文件描述符的上限
　　对内核来说，所有打开的文件都通过文件描述符引用，文件描述符是一个非负整数，hadoop的作业经常会读写大量文件，需要增大同时打开文件描述符的上限。
　　5.选择合适的文件系统，并禁用文件的访问时间
　　ext4 xfs ,文件访问时间可以让用户知道那些文件近期被查看或修改， 但对hdfs来说， 获取某个文件的某个块 被修改过，没有意义，可以禁用。
　　6. 关闭THP (transparent Huge Pages)
　　THP 是一个使管理 Huge Pages自动化的抽象层， 它会引起cpu占用率增大， 需要关闭。

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag　　hadoop参数调优
　　

HDFS调优　　

1. 设置合理的块大小(dfs.block.size)　　

2. 将中间结果目录设置为分布在多个硬盘以提升写入速度(mapred.local.dir)　　

3. 设置datanode处理RPC的线程数，大集群可以适当加大（dfs.datanode.handler.count）,默认为3，可以适当加大为10　　

4. 设置namenode 能同时处理的请求数，(dfs.namenode.handler.count),为集群模式的自然对数(lnN)的20倍。　　

　　

　　

　　
YARN调优
　　
yarn的资源表示模型为ceontainer（容器）,container 将资源抽象为两个维度，内存和虚拟cpu(vcore)
　　

1. 兼容各种计算框架　　

2. 动态分配资源，减少资源浪费　　

　　
容器内存
　　
yarn.nodemanager.resource.memory
-mb　　

　　
最小容器内存
　　
yarn.scheduler.minimum
-allocation-mb　　

　　
容器内存增量
　　
yarn.scheduler.increment
-allocation-mb　　

　　
最大容器内存
　　
yarn.scheduler.maximum
-allocation-mb　　

　　
容器虚拟cpu内核
　　
yarn.nodemanager.resource.cpu
-vcores　　

　　
最小容器虚拟cpu内核数量
　　
yarn.scheduler.minimum
-allocation-vcores　　

　　
容器虚拟cpu内核增量
　　
yarn.scheduler.increment
-allocation-vcores　　

　　
最大容器虚拟cpu内核数量
　　
yarn.scheduler.maximum
-allocation-vcores　　

　　
MapReduce调优，调优三大原则
　　

　　

1.增大作业并行程度　　

2.给每个任务足够的资源　　

3. 在满足前2个条件下，尽可能的给shuffle预留资源　　

　　hadoop运维
　　

基础运维　　

1. 启动和体质hadoop (包括hdfs)　　
.
/start-all.sh　　
.
/stop-all.sh　　

　　

2.启动/停止 hdfs　　
.
/start-dfs.sh　　
.
/stop-dfs.sh　　

　　

3.启动/停止 单个hdfs进程　　
.
/hadoop-daemon.sh start namenode　　
.
/hadoop-daemon.sh stop namenode　　

　　
.
/hadoop-daemon.sh start  datanode　　
.
/hadoop-daemon.sh stop  datanode　　

　　

　　
启动和关闭 yarn进程
　　
sbin
/start-yarn.sh   主　　
sbin
/yarn-daemon.sh start resourcemanager  第二节点　　

　　

　　
集群节点动态扩容和卸载
　　

1.增加datanode　　

修改slave,添加新的datanode　　
.
/hadoop-daemon.sh start datanode    　　启动datanode　　
.
/hadoop dfsadmin -refreshNodes         通知namenode 增加了一个节点　　

　　
2. 卸载datanode
　　

stop datanode 命令只能停止datanode， 并不能把数据完全的迁移出来　　1). 修改配置 dfs.hosts 和 dfs.hosts.exclude,把将要卸载的datanode ip添加到dfs.hosts 和dfs.hosts.exclude 末尾，执行
　　./hadoop dfsadmin  -refresNodes   #数据转移，使用web端口可以查看迁移进度
　　2). 停止服务器
　　./hadoop-deamon.sh stop datanode
　　3). 把dfs.hosts 和 dfs.hosts.exclude 中的 卸载的datanode ip地址删除
　　4). 再次执行
　　./haddop dfsadmin -refresNodes
　　5).增加 yarn 的nodemanager
　　修改slave文件， 直接启动
　　./yarn-daemon.sh  start nodemanager
　　6).卸载nodemanger
　　直接停止即可
　　./yarn-daemon.sh start nodemanager
　　./hadoop-daemon.sh
　　namenode|secondarynamenode|datanode|journalnode|dfs|dfsadmin|fsck|balancer|zkfc)
　　yarn-daemon.sh
　　resourcemanager|nodemanager
　　

yarn 第二节点启动命令　　
yarn-daemon.sh start resourcemanager
　　
常见的运维技巧
　　1. 查看日志
　　2.清理临时文件
　　hdfs 的临时文件路径:/data/hadoop/tmp/mapred/staging
　　本地临时文件路径： {mapred.local.dir}/mapred/userlogs
　　3.定期执行数据均衡脚本