Spark技术互动问答分享

Q1：新手学习spark如何入手才好？

• 先学习Scala的内容，强烈推荐《快学Scala》；

• 然后按照我们免费发布的“云计算分布式大数据Spark实战高手之路（共3本书）”循序渐进的学习即可，其中“云计算分布式大数据Spark实战高手之路---从零开始”涵盖了Spark1.0的所有主题：包括Spark集群的构建，Spark架构设计、Spark内核剖析、Shark、Spark SQL、Spark Streaming、图计算GraphX、机器学习、Spark on Yarn、JobServer等，为了方便大家学习Spark，网络发布版本采用图文并茂的方式发布，这样大家在阅读的时候就像家林在身边做演示和讲解一样，不亦乐哉！以Spark集群的搭建为例，  对于90%以上想学习Spark的人而言，如何构建Spark集群是其最大的难点之一，为了解决大家构建Spark集群的一切困难，家林在“云计算分布式大数据Spark实战高手之路---从零开始”的第一章节中把Spark集群的构建分为了四个步骤，每个步骤为一个小节，从零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的Spark集群。

Q2：我想问，hdfs的namenode挂了，怎么处理？

• 使用ZooKeeper；

• 使用Mesos；

• 使用Yarn；

Q3：用python和scala区别大吗？

• 就代码的风格而言是不大的；

• 世界上也有很多人使用python开发Spark程序；

• 但是最为推荐的是Scala，因为Spark框架是用Scala编写的，在API方面对Scala的支持也是最好的；

Q4：对几百T的数据，现在SPARK支持得如何？

• Spark能够非常好的处理几十T或者几百T的数据；

• 正如Spark能够轻松处理PB级别的数据；

Q5：可以结果直接输出到关系型数据库吗？

• 目前不可以；

• 一般都是把结果直接输出到HDFS上；

• 让后在采用Sqoop等工具把数据导入到Oracle、MySQL等数据库中；

Q6：SPARK环境需要哪些？ 除了HDFS基础，有SPARK集成包么？

• Spark的安装需要Hadoop的HDFS；

• Spark有自己的集成包，但是依旧需要HDFS的配合；

• 同时Spark也可以部署到亚马逊云上；

Q7：spark的缺点是什么？不适合做什么？

• 目前主要的缺点是对数据细粒度的支持不够好；

Q8：spark sql可以代替hive和hbase吗？

• Spark SQL可以取代Hive；

• Spark SQL可以完成HBase的大部分功能；

• Spark Streaming配合Spark SQL可以取代HBase；

Q9：没有java基础可否直接看scala语言？

• 可以直接看Scala语言；