什么是hadoop？

cike0415

什么是hadoop： 适合海量数据的分布式存储与计算平台


什么是海量数据呢?一般情况下1T以上的我们称之为大数据，但是它大不一定是大数据，我们还要看它是什么样的架构方式。


hadoop的核心项目：


HDFS (分布式文件系统)，它负责存储。


MAPreduced(平行计算框架)，这是我们需要好好研究的，(核心问题)


那么何为分布式呢?大家直到“分布”的意思吧，就是一片，我的理解是文件系统分布在不同的计算机上。


那么什么是平行计算呢?利用一定的算法，让惊醒计算的代码在不同的甲酸机上同时进行程序的一部分，然后把美哦个计算机的结构收集有规律的整合，然后得到我们想要的运算结果


那么介绍一下HDFS的主从架构


主节点只有一个：namenode


从节点有好多：datanodes


namenode负责：(负责管理)


接受用户操作请求


维护文件爱你系统的目录结构


管理文件与block之间的关系，block与datanode之间的关系


datanode负责：(负责具体的执行)


文件被分为block存储在磁盘上


为保证数据安全文件有很多副本，副本的作用，副本自动切换当出现问题的时候，很好的一个作用


MapReduce的主从架构


主节点：只有一个JobTrackcer


从节点：有多个TaskTrackers


JobTrackcer负责：


手机客户提交的计算任务


把计算任务分给TaskTrackers执行


监控TaskTrackers的执行情况


TaskTrackers负责


执行JobTrackcer分配的计算任务