Spark原理架构图是怎样的

这篇文章给大家介绍Spark原理架构图是怎样的,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。

成都创新互联网站建设提供从项目策划、软件开发,软件安全维护、网站优化(SEO)、网站分析、效果评估等整套的建站服务,主营业务为成都网站制作、做网站,重庆APP软件开发以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。成都创新互联深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!

Task是在集群上运行的基本单位。一个Task负责处理RDD的一个partition。RDD的多个patition会分别由不同的Task去处理。当然了这些Task的处理逻辑完全是一致的。这一组Task就组成了一个Stage。有两种Task:
org.apache.spark.scheduler.ShuffleMapTask
org.apache.spark.scheduler.ResultTask

ShuffleMapTask根据Task的partitioner将计算结果放到不同的bucket中。而ResultTask将计算结果发送回Driver Application。一个Job包含了多个Stage,而Stage是由一组完全相同的Task组成的。最后的Stage包含了一组ResultTask。

Spark原理架构图是怎样的

Spark原理架构图是怎样的

Spark原理架构图是怎样的

Spark原理架构图是怎样的

关于Spark原理架构图是怎样的就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


网页标题:Spark原理架构图是怎样的
网站地址:http://bzwzjz.com/article/jejcod.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 成都网站设计 成都网站制作 定制网站建设 成都网站设计制作公司 定制网站设计 营销型网站建设 网站设计制作报价 成都网站建设 成都网站建设 营销网站建设 企业网站建设 网站建设公司 app网站建设 成都网站制作 重庆外贸网站建设 高端品牌网站建设 成都网站建设推广 高端网站设计 成都网站建设公司 外贸网站设计方案 盐亭网站设计