设为首页 收藏本站
查看: 1088|回复: 0

[经验分享] 初识Apache Hadoop-11872756

[复制链接]

尚未签到

发表于 2018-10-29 10:35:53 | 显示全部楼层 |阅读模式
  Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型,计算任务会被分割成小块(多次)运行在不同的节点上。除此之外,它还提供了一款分布式文件系统(HDFS),数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。下面编者对于ApacheHadoop进行详细介绍:
  一、什么是Apache Hadoop
  1.概念:用来存储、处理和分析大数据的开源框架。
  2.特点:分布式,可扩展并且容错
  3.使用成本:利用了产业标准硬件的能力,成本低。
  4.ApacheHadoop集群框架:
  Batch processing
  Search engine
  Analytic SQL
  Machine learning
  Stream processing
  Other applications
  workload management
  Data  storage
  Data   integration
  二、关于Apache Hadoop的几个事实:
  1.开源:Apache Hadoop本身是开源的
  2. 大约十个公司的60多个committers:如cloudera,yahoo,facebook,apple等,对于Apache Hadoop发展有着重要作用。
  3.几百个编写特性和修复bug的贡献者
  4. Apache Hadoop本身有很多项目、应用和工具等
  三、Hadoop生态:
  
DSC0000.png

  
  四、供应商集成:
DSC0001.png

  五、了解发行版:
  1.Cloudera提供了CDH和Cloudera Manager
  (1)CDH (Cloudera’s Distributionincluding Apache Hadoop):100%开源,为企业准备的Hadoop和相关项目的发行版;集成了所有关键的Hadoop生态项目
DSC0002.jpg

  
  2.Hortonworks提供了HDP (HORTONW0RKS DATA PLATFORM)
DSC0003.png

  3. Mapr:mapr汇聚数据平台
DSC0004.png

  
  4.其他发行版:
DSC0005.png

  以上就是小编根据自己的实际经验为大家总结的Apache Hadoop基本知识,让大家对于Hadoop有一个基本的框架认识。在这里,也真诚建议大家平常多自主学习,无论是看一些大数据的书籍,还是关注一些大数据资讯,对于大家都是很有帮助和促进的。我个人在平时喜欢看大数据cn大数据学习中心这样的微信服务号,经常有一些大数据最前端的资讯和一些免费的资源,对于我个人而言,帮助还是蛮大的,大家平常也可以多积累一些这方面资源,多多分享交流,共同进步!


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-627884-1-1.html 上篇帖子: Redhat 6.5 Hadoop安装详解 下篇帖子: Hadoop产生原因
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表