设为首页 收藏本站
查看: 942|回复: 0

[经验分享] Hadoop数据资源池

[复制链接]

尚未签到

发表于 2018-10-30 09:53:59 | 显示全部楼层 |阅读模式
  随着Hadoop数据资源池的概念进入主流IT,越来越多的企业开始试水Hadoop。但很多只是将一部分数据池化,还没有开发出成熟的Hadoop环境。
  数据资源池使用基于开源Hadoop框架和商业硬件,以池化资源的形式处理、存储和管理大数据,尤其是支持分析应用。支持者认为数据池架构提供了一个更便宜的替代传统数据仓库的选项,能够处理结构化、半结构化以及非结构化数据。不过,数据资源池的概念还相对较新,带来利益的同时也隐藏着陷进。关注BI和大数据的咨询公司Eckerson集团首席咨询师Wayne Eckerson表示:“在过去7年里,Hadoop取得了长足的进步,但它仍有很长的路要走。”
  在接受TechTarget采访时,Eckerson讲述了他个人对数据资源池的理解,以及可能影响该进程的阻力。对于公司是否适合采用Hadoop资源池的问题,他也给出了建议。
  TechTarget:从您接触到的公司来看,Hadoop资源池到底有多流行?
  Wayne Eckerson:很多公司已经或打算使用Hadoop。只有当你把所有数据都放入Hadoop集群的时候,数据资源池才是真实的。公司当然对它干兴趣,尤其是目前还没有数据仓库的公司,他们会选择从Hadoop开始,而不是关系型数据库,当然前提是他们有掌握Hadoop的人才。不过我认为,供应商推Hadoop的力度大于用户对hadoop的需求。泡沫发成分还是有的。
  Techtarget:公司为什么要考虑数据池,数据池能够给公司带来的最大好处是什么?
  Eckerson:理论上这种方法大有裨益。你把数据放入资源池,不需要再移动它。你需要做的只是把数据提取到支持业务的正确的处理系统中。数据资源池的好处是你把数据存储在数据产生的地方,然后把处理流程加在数据上,这样能够让公司更少的移动数据。但是问题是,在过去20年里,我们积累了如何从数据中提取答案的经验,但这些经验并不完全适用于数据资源池。公司要重新确认流程,保证能得到正确答案。不过因为成本低,所以人们还是很愿意尝试它。
  企业在部署Hadoop时,对数据资源池的概念是否有误解?
  Eckerson:对于任何新技术,人们都不免对希望它能“包治百病”。但事实并非如此,Hadoop需要专业的技术人才,而且有很多功能还不成熟,比如安全、管理、容灾和恢复、交互查询等。现在,这些功能逐渐被添加到Hadoop平台上,它现在正在想企业级方向发展。不过它仍然没有传统数据仓库环境那么成熟。你不能只给人们一个生数据的入口,就期望他们能完成任何事。这和数据仓库的道理是一样的,只是用到的技术不同。我认为最大的误解是认为Hadoop是适用于业务用户的环境,其实不是,Hadoop还是需要掌握固定技能的专家的。
  数据资源池适用于所有企业吗,还是值适用于部分企业?
  Eckerson:任何公司,只要有时间和资源,都可以尝试数据资源池。公司要以开放的心态迎接新技术,需要花费时间进行验证,了解数据资源池能够给自己带来什么。早期的Hadoop使用者已经在大范围部署Hadoop了。但也有公司忙于应对已有的数据仓库,无暇考虑Hadoop。这是企业文化的问题,有些对新技术比较积极,有些则不然。
  转自泰迪智慧


运维网声明 1、欢迎大家加入本站运维交流群:群②:261659950 群⑤:202807635 群⑦870801961 群⑧679858003
2、本站所有主题由该帖子作者发表,该帖子作者与运维网享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:admin@iyunv.com 网址:www.yunweiku.com

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:kefu@iyunv.com,QQ:1061981298 本贴地址:https://www.yunweiku.com/thread-628320-1-1.html 上篇帖子: Hadoop源代码分析(mapreduce.lib.partition/reduce/output) 下篇帖子: Hadoop源代码分析(MapReduce概论)
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服E-mail:kefu@iyunv.com 客服QQ:1061981298


QQ群⑦:运维网交流群⑦ QQ群⑧:运维网交流群⑧ k8s群:运维网kubernetes交流群


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud

快速回复 返回顶部 返回列表