骞没蕴 发表于 2018-11-1 08:53:54

Hadoop入门实战手册

  Hadoop入门文档,比较实用。详细文档在附件中。。。
  1   概述
  1.1       什么是Hadoop?
  1.2       为什么要选择Hadoop?
  1.2.1       系统特点
  1.2.2       使用场景
  2   术语
  3   Hadoop的单机部署
  3.1      目的
  3.2      先决条件
  3.2.1       支持平台
  3.2.2       所需软件
  3.2.3       安装软件
  3.3      下载
  3.4      运行Hadoop集群的准备工作
  3.5      单机模式的操作方法
  3.6      伪分布式模式的操作方法
  3.6.1       配置
  3.6.2       免密码ssh设置
  3.6.3       执行
  4   Hadoop集群搭建过程手记
  4.1       免密码SSH设置
  4.2       Hadoop软件安装
  4.3       Master(85)配置
  4.4       Slave(60,245上)配置
  4.5       初始化和启动hadoop集群
  4.5.1       初始化文件系统
  4.5.2       启动Hadoop
  4.5.3       停止Hadoop
  4.6       测试
  4.7       管理界面与命令
  4.7.1       hdfs运行状态界面
  4.7.2       Map-reduce的运行状态界面
  4.7.3       直接的命令行查看
  4.7.1       运行的进程查看
  5   架构分析
  5.1       HDFS
  5.1.1       HDFS的三个重要角色
  5.1.2       HDFS设计特点
  5.2       MapReduce
  5.2.1       算法介绍
  5.2.2       Hadoop框架下的mapreduce
  5.3       综合架构分析
  6   Hadoop的应用
  7   系统维护
  7.1       Hadoop的系统监控
  7.2       Hadoop中的命令(Command)总结
  7.3       NameNode与JobTracker单点故障说明
  7.4       经验总结
  7.5       如何在一个hadoop集群新增或删除一些机器而不重启
  7.5.1       新增节点
  7.5.2       删除节点
  7.6       其它日常问题说明
  7.6.1       datanode启动失败,各slave节点的namespaceIDs与masters不同
  7.6.2       taskTracker和jobTracker 启动失败
  7.6.3       Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out
  7.6.4       Too many fetch-failures
  7.6.5       能够启动datanode,但无法访问,也无法结束的错误
  7.6.6       java.io.IOException: Could not obtain block:
  7.6.7       java.lang.OutOfMemoryError: Java heap space
  7.6.8       解决hadoop OutOfMemoryError问题:
  7.6.9       Hadoop java.io.IOException:
  7.7       防火墙的端口开放要求
  7.7.1       与HDFS有关的地址及端口属性
  7.7.2       与MapReduce 有关的地址及端口属性
  8   附录
  8.1       hadoop历史
  8.2       Hadoop大记事
  8.3       Hadoop的几个主要子项目
  8.4       官方集群搭建参考
  8.4.1       配置文件
  8.4.2       集群配置说明

页: [1]
查看完整版本: Hadoop入门实战手册