学习笔记——Hadoop 1.x 服务讲解

wolong

1.对于分布式系统和框架的架构来说，一般分为两部分：
第一部分：管理层，用于管理应用层的
第二部分：应用层（工作的）
NameNode(元数据服务器)
Secondary NameNode(辅助元数据服务器)
JobTracker(任务调度员)
DataNodes(块存储)    TaskTracker(任务执行)

HDFS，分布式文件系统，
NameNode,属于管理层，用于管理数据的存储
Secondary NameNode，也属于管理层，辅助NameNode进行管理
DataNode：属于应用层，用户进行数据的存储，被NameNode进行管理，定时地向Namenode进行工作汇报，执行NameNode分配分发的任务。
MapReduce:分布式地并行计算扩建
JobTracker:属于管理层，管理集群资源和对任务进行资源调度，监控任务的执行。
TaskTracker:属于应用层，执行jobtracker分配的任务，并向其汇报工作情况。

2.Apache Hadoop守护进程的作用：
Namenode：是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间，副本数，文件权限等），以及每个文件的块列表和块所在的DataNode等。
DataNode在本地文件系统存储文件块数据，以及块数据的校验和
Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
Jobtracker负责接收用户提交的作业，负责启动、跟踪任务执行
taskTracker负责执行由jobtracker分配的任务，管理各个任务在每个节点上的执行情况。