Hadoop实战 开启云计算之旅

爱在莫斯科

　　



整体课程概览


第一部分：开始云计算之旅
第二部分：初识Hadoop
第三部分：Hadoop 环境安装部署
第四部分：Hadoop Shell 基本操作介绍
第五部分：Hadoop  分布式文件系统
第六部分：MapReduce  开发
第七部分：Hadoop集群的安装

第一部分：我们为什么要学习云计算技术


·“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”
   ———哈佛大学
   社会学教授加里·金
·一分钟内，微博推特( Twitter)上新发的数据数超过10万；社交网络“脸谱”( Facebook)的浏览量超过600万……
·这些庞大数字，意味着什么？
·它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。

IT人你们准备好了么


·这是一个机会，千载难逢的机会。
·IT界 的又一桶黄金。


什么是云计算

      云计算就是“按需应变”的网络延伸，即厂商按照用户不断变化的需求提供相应的硬件、软件服务。
      云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、网络技术等一些传统计算方法的融合体。它旨在通过网络把多个成本相对较低的计算实体整合成一个具有强大计算能力的完美系统，并借助SaaS、PaaS、IaaS、MSP等先进的商业模式把这强大的计算能力分布到终端用户手中。其核心理念就是通过不断提高“云”的处理能力而减少用户终端的处理负担，最终使用户终端简化成一个单纯的输入输出设备，并能按需享受“云”的强大计算处理能力。
     云计算最典型的代表就是Google的搜索引擎。

云因何而生


不断增长的计算资源
处理器核数: 每18个月 100%
内存/硬盘容量: 每年 60％
网络带宽: 每年 100％

现有计算模型的局限
低利用率: