Spark与Hadoop之间的PK_最新动态_新闻资讯_程序员俱乐部

中国优秀的程序员网站程序员频道CXYCLUB技术地图
热搜:
更多>>
 
您所在的位置: 程序员俱乐部 > 新闻资讯 > 最新动态 > Spark与Hadoop之间的PK

Spark与Hadoop之间的PK

 2014/12/5 20:23:49    程序员俱乐部  我要评论(0)
  • 摘要:一说大数据,人们往往想到Hadoop。这固然不错,但随着大数据技术的深入应用,多种类型的数据应用不断被要求提出,一些Hadoop被关注的范畴开始被人们注意,相关技术也迅速获得专业技术范畴的应用。最近半年来的Spark之热就是典型例子。Spark是一个基于RAM计算的开源码ComputerCluster运算系统,目的是更快速地进行数据分析。Spark早期的核心部分代码只有3万行。Spark提供了与HadoopMap/Reduce相似的分散式运算框架,但基于RAM和优化设计
  • 标签:hadoop

  一说大数据,人们往往想到 Hadoop。这固然不错,但随着大数据技术的深入应用,多种类型的数据应用不断被要求提出,一些 Hadoop 被关注的范畴开始被人们注意,相关技术也迅速获得专业技术范畴的应用。最近半年来的 Spark 之热就是典型例子

  Spark 是一个基于 RAM 计算的开源码 ComputerCluster 运算系统,目的是更快速地进行数据分析。Spark 早期的核心部分代码只有 3 万行。Spark 提供了与 HadoopMap/Reduce 相似的分散式运算框架,但基于 RAM 和优化设计,因此在交换式数据分析和 datamining 的 Workload 中表现不错。

  进入 2014 年以后,Spark 开源码生态系统大幅增长,已成为大数据范畴最活跃的开源码项目之一。Spark 之所以有如此多的关注,塬因主要是因为 Spark 具有的高性能、高灵活性、与 Hadoop 生态系统完美融合等叁方面的特点。

  首先,Spark 对分散的数据集进行抽样,创新地提出 RDD (ResilientDistributedDataset)的概念,所有的统计分析任务被翻译成对 RDD 的基本操作组成的有向无环图(DAG)。RDD 可以被驻留在 RAM 中,往后的任务可以直接读取 RAM 中的数据;同时分析 DAG 中任务之间的依赖性可以把相邻的任务合并,从而减少了大量不准确的结果输出,极大减少了 HarddiskI/O,使复杂数据分析任务更高效。从这个推算,如果任务够复杂,Spark 比 Map/Reduce 快一到两倍。

  其次,Spark 是一个灵活的运算框架,适合做批次处理、工作流、交互式分析、流量处理等不同类型的应用,因此 Spark 也可以成为一个用途广泛的运算引擎,并在未来取代 Map/Reduce 的地

  最后,Spark 可以与 Hadoop 生态系统的很多组件互相操作。Spark 可以运行在新一代资源管理框架 YARN 上,它还可以读取已有并存放在 Hadoop 上的数据,这是个非常大的优势。

  虽然 Spark 具有以上叁大优点,但从目前 Spark 的发展和应用现状来看,Spark 本身也存在很多缺陷,主要包括以下几个方面:

  • 稳定性方面,由于代码质量问题,Spark 长时间运行会经常出错,在架构方面,由于大量数据被缓存在 RAM 中,Java 回收垃圾缓慢的情况严重,导致 Spark 性能不稳定,在复杂场景中 SQL 的性能甚至不如现有的 Map/Reduce。
  • 不能处理大数据,单独机器处理数据过大,或者由于数据出现问题导致中间结果超过 RAM 的大小时,常常出现 RAM 空间不足或无法得出结果。然而,Map/Reduce 运算框架可以处理大数据,在这方面,Spark 不如 Map/Reduce 运算框架有效。
  • 不能支持复杂的 SQL 统计;目前 Spark 支持的 SQL 语法完整程度还不能应用在复杂数据分析中。在可管理性方面,SparkYARN 的结合不完善,这就为使用过程中埋下隐忧,容易出现各种难题。

  虽然 Spark 活跃在 Cloudera、MapR、Hortonworks 等众多知名大数据公司,但是如果 Spark 本身的缺陷得不到及时处理,将会严重影响 Spark 的普及和发展。

发表评论
用户名: 匿名