一:Hadoop简介

jericho0702

　　hadoop是什么？
　　Hadoop是开源的，可靠的，可扩展的，分布式的运算存储系统。
　　一是Hadoop是一个开源的框架；
　　二是Hadoop能够进行大规模数据集地分布式处理；
　　三是Hadoop能够用计算机集群存储海量数据；
　　四是Hadoop可以从单一服务器扩展到成千上万的服务器，这些服务都能够提供本地化的存储和 计算；
　　Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop等于HDFS（文件系统，数据存储技术相关）加Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value.
　　Hadoop优点
　　1.高可靠性：Hadoop按位存储和处理数据
　　2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台
　　3.高效性：Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度快
　　4.高容错性：Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配
　　5.低成本：Hadoop是开源的，集群是由廉价的PC机组成
　　Hadoop能解决什么问题？
　　海量数据的存储（HDFS）
　　海量数据的分析（MapReduce）
　　资源管理调度（YARN）
　　Hadoop能做什么？
　　1、搜索引擎（Doug Cutting  设计Hadoop的初衷，为了针对大规模的网页快速建立索引）。
　　2、大数据存储，利用Hadoop的分布式存储能力，例如数据备份、数据仓库等。
　　3、大数据处理，利用Hadoop的分布式处理能力，例如数据挖掘、数据分析等。
　　4、科学研究，Hadoop是一种分布式的开源框架，对于分布式计算有很大程度地参考价值
　　5.日志处理
　　6.用户细分特征建模
　　7.智能化推荐
　　Hadoop架构和组件
　　Hadoop是一个分布式系统基础架构，底层是HDFS（Hadoop Distributed File System）分布式文件系统，它存储Hadoop集群中所有存储节点上的文件（64MB块），HDFS上一层是MapReduce引擎（分布式计算框架），对分布式文件系统中的数据进行分布式计算。
　　hadoop能做什么？ hadoop具体能干什么?
　　hadoop擅长日志分析，facebook就用Hive来进行日志分析，2009年时facebook就有非编程人员的30%的人使用HiveQL进行数据分析；淘宝搜索中    的 自定义筛选也使用的Hive；利用Pig还可以做高级的数据处理，包括Twitter、LinkedIn 上用于发现您可能认识的人，可以实现类似Amazon.com的协同过滤的推荐效果。淘宝的商品推荐也是！在Yahoo！的40%的Hadoop作业是用pig运行的，包括垃圾邮件的识别和过滤，还有用户特征建模。（2012年8月25新更新，天猫的推荐系统是hive，少量尝试mahout！）
　　下面举例说明：
　　设想一下这样的应用场景. 我有一个100M 的数据库备份的sql 文件.我现在想在不导入到数据库的情况下直接用grep操作通过正则过滤出我想要的内容。例如：某个表中 含有相同关键字的记录那么有几种方式,一种是直接用linux的命令 grep 还有一种就是通过编程来读取文件,然后对每行数据进行正则匹配得到结果好了 现在是100M 的数据库备份.上述两种方法都可以轻松应对.
　　那么如果是1G , 1T 甚至 1PB 的数据呢 ,上面2种方法还能行得通吗？ 答案是不能.毕竟单台服务器的性能总有其上限.那么对于这种 超大数据文件怎么得到我们想要的结果呢？
　　有种方法 就是分布式计算, 分布式计算的核心就在于 利用分布式算法 把运行在单台机器上的程序扩展到多台机器上并行运行.从而使数据处理能力成倍增加.但是这种分布式计算一般对编程人员要求很高,而且对服务器也有要求.导致了成本变得非常高.
　　Haddop 就是为了解决这个问题诞生的.Haddop 可以很轻易的把 很多linux的廉价pc 组成 分布式结点,然后编程人员也不需要知道分布式算法之类,只需要根据mapreduce的规则定义好接口方法,剩下的就交给Haddop. 它会自动把相关的计算分布到各个结点上去,然后得出结果.
　　例如上述的例子 ： Hadoop 要做的事 首先把 1PB的数据文件导入到 HDFS中, 然后编程人员定义好 map和reduce, 也就是把文件的行定义为key,每行的内容定义为value , 然后进行正则匹配,匹配成功则把结果 通过reduce聚合起来返回.Hadoop 就会把这个程序分布到N 个结点去并行的操作.
　　那么原本可能需要计算好几天,在有了足够多的结点之后就可以把时间缩小到几小时之内.
　　这也就是所谓的 大数据 云计算了.如果还是不懂的话再举个简单的例子
　　比如  1亿个  1 相加 得出计算结果, 我们很轻易知道结果是 1亿.但是计算机不知道.那么单台计算机处理的方式做一个一亿次的循环每次结果+1
　　那么分布式的处理方式则变成 我用 1万台 计算机,每个计算机只需要计算 1万个 1 相加 然后再有一台计算机把 1万台计算机得到的结果再相加
　　从而得到最后的结果.
　　理论上讲, 计算速度就提高了 1万倍. 当然上面可能是一个不恰当的例子.但所谓分布式,大数据,云计算 大抵也就是这么回事了.
　　hadoop能为我司做什么？
　　1.日志处理
　　2.用户细分特征建模
　　3.智能化推荐