今天老大谈到了Spark,说是计算速度比hadoop MapReduce快100倍,顿时惊讶,于是乎埋头google,主要想弄清楚两个问题 1 Spark怎么会那么快 2 Spark的适用场景。苦苦搜索,总得结果。
spark是对MapReduce计算模型的改进,可以说没有HDFS,MapReduce,就没有spark.尽管spark官网很少提到MapReduce.
Spark可用于迭代,主要思想是内存计算,即将数据存到内存中,以提高迭代效率。
(我认为就是通过缓存数据的方式减少IO的消耗,从而提高了性能)
Spark可以将过程数据存在内存中(从文件中读取,或经过map处理的数据),方便其他模块重复调用。
相比hadoop MapReduce 主要的改进:
1迭代运算,一次创建数据集。多次使用,减少了IO的开销。
2允许多种计算模型(包含map-reduce)
3 支持非OO式算法实现,对机器学习算法,图计算能力有很好的支持。
仔细研读下面的文章,就能理解我的总结
迭代式MapReduce框架介绍
http://dongxicheng.org/mapreduce/iterative-mapreduce-intro/
传统MapReduce框架
http://dongxicheng.org/mapreduce/traditional-mapreduce-framework/
选择Spark on Yarn的三个理由
[url] http://storage.it168.com/a2013/1123/1564/000001564111.shtml[/url]
注:迭代运算: 这里指对同一个数据集的多次使用
分享到:
相关推荐
spark原理示意图spark原理示意图spark原理示意图spark原理示意图spark原理示意图spark原理示意图
整理网络上关于spark的资料,对于spark1.0 架构设计,执行细节进行详细描述,非常适合于了解基本spark之后继续学习spark人员做深入了解
spark运行原理解析
基于RDD的架构,在这个开源系统栈里包括...我们使用了真实的用户应用案例和传统的基准测试来评估这些系统。我们的实现为传统和新的数据分析工作提供了很好的性能,并成为第一个使得用户可以组合这些计算任务的平台。
06Spark Streaming原理和实践
spark内部原理和架构 电子书完整版。
spark streaming原理介绍和代码实战操作
介绍了spark的技术原理、特征、rdd计算模型、任务调度原理等核心内容
spark原理与调优详解
甚至一度有人认为Spark有取代Hadoop的趋势,但是因为Hadoop与Spark有着各自不同的特点,使得两者拥有不同的应用场景,从而Spark无法完全取代Hadoop。针对以上问题,对Hadoop与Spark的应用场景进行了分析。首先介绍了...
《Spark技术内幕:深入解析Spark内核架构设计与实现原理》以源码为基础,深入分析Spark内核的设计理念和架构实现,系统讲解各个核心模块的实现,为性能调优、二次开发和系统运维提供理论支持;本文最后以项目实战的...
Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点...
1) 大数据爱好者 随着大数据时代的来临,无论传统行业、IT行业以及互联网等行业都将涉及到...这些研究人员可以通过本书加深对Spark的原理和应用场景的理解,能够更好地利用Spark各个组件进行数据计算和算法实现。
大数据技术之图解Spark原理及实践,
6 Spark的适用场景 6 7 Spark成功案例 6 第二章 Spark开发环境搭建 8 1 Spark运行模式 8 2 Spark环境搭建 8 2.1Scala的安装 8 2.2Spark的单节点配置 9 2.3Spark-Standalone集群配置 9 2.4Spark-on-Yarn模式配置 12 ...
大数据中spark的基本架构和原理,有需要的可以下载看一下!
spark内核结构图。Spark是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台,是Apache软件基金会下所有开源项目中三大顶级开源项目之一。
Spark技术内幕 深入解析Spark内核架构设计与实现原理.pdfSpark技术内幕 深入解析Spark内核架构设计与实现原理.pdf
Spark