【互动问答分享】第2期决胜云计算大数据时代Spark亚太研究院公益大讲堂

Mei笑D小妞

“决胜云计算大数据时代”

Spark亚太研究院100期公益大讲堂 【第2期互动问答分享】

Q1：新手学习spark如何入手才好？

• 先学习Scala的内容，强烈推荐《快学Scala》；
  
• 然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布， 这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例，  对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。
  
  

Q2：我想问，hdfs的namenode挂了，怎么处理？

• 使用ZooKeeper；
  
• 使用Mesos；
  
• 使用Yarn；
  

Q3：用python和scala区别大吗？

• 就代码的风格而言是不大的；
  
• 世界上也有很多人使用python开发Spark程序；
  
• 但是最为推荐的是Scala，因为Spark框架是用Scala编写的，在API方面对Scala的支持也是最好的；
  

Q4：对几百T的数据，现在SPARK支持得如何？

• Spark能够非常好的处理几十T或者几百T的数据；
  
• 正如Spark能够轻松处理PB级别的数据；
  

Q5：可以结果直接输出到关系型数据库吗？

• 目前不可以；
  
• 一般都是把结果直接输出到HDFS上；
  
• 让后在采用Sqoop等工具把数据导入到Oracle、MySQL等数        据库中；
  

Q6：SPARK环境需要哪些？ 除了HDFS基础，有SPARK集成包么？

• Spark的安装需要Hadoop的HDFS；
  
• Spark有自己的集成包，但是依旧需要HDFS的配合；
  
• 同时Spark也可以部署到亚马逊云上；
  

Q7：spark的缺点是什么？不适合做什么？

• 目前主要的缺点是对数据细粒度的支持不够好；
  

Q8：spark sql可以代替hive和hbase吗？

• Spark SQL可以取代Hive；
  
• Spark SQL可以完成HBase的大部分功能；
  
• Spark Streaming配合Spark SQL可以取代HBase；
  
  

Q9：没有java基础可否直接看scala语言？

• 可以直接看Scala语言
  

                                                                                                                    Q10：能否提供一个安装部署spark虚拟机的视频或者文档？

• 我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布， 这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例，  对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。
  

Q11：目前那些行业在用spark处理大数据？

• Spark技术在国内外的应用开始越来越广泛，它正在逐渐走向成熟，并在这个领域扮演更加重要的角色。国外一些大型互联网公司已经部署了Spark。例如：一直支持Hadoop的四大商业机构（Cloudera、MapR、Hortonworks、EMC）已纷纷宣布支持Spark；Mahout前一阶段也表示，将不再接受任何形式以MapReduce实现的算法，同时还宣布了接受基于Spark新的算法；而Cloudera的机器学习框架Oryx的执行引擎也将由Hadoop的MapReduce替换成Spark；另外，Google也已经开始将负载从MapReduce转移到Pregel和Dremel上；FaceBook也宣布将负载转移到Presto上……
  
• Yahoo！、淘宝、优酷土豆、网易、百度、腾讯等国内大型知名企业已经在商业生产环境下开始使用Spark技术；Intel、IBM、Linkin、Twwitter等国外大型知名企业也都在大力支持Spark。随着这些国内外大企业的使用，Spark技术的发展必然势不可挡，行业普及很快就会到来