Sparkonyarn

Spark on yarn

创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站制作、成都做网站、外贸营销网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的岳阳县网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

ResourceManager  资源管理   只有一个(资源以Container表示)

ApplicationMaster  应用管理   用户每提交一个application都包含一个ApplicationMaster
NodeManager 每个节点对应一个

ApplicationMaster 启动后向ResourceManager要资源

Spark on yarn

每个Executor对应一个Container

每个SparkContext有一个ApplicationMaster

Spark on yarn

spark支持的两种模式区别 Spark Driver运行在哪儿

yarn-cluster(YarnClusterScheduler) (driverApplicationMaster运行在一起,client看不到运行结果)

yarn-client  (YarnClientClusterScheduler)(driver和client运行在一起,适用于终端返回结果)

Spark on yarn


标题名称:Sparkonyarn
文章来源:http://bzwzjz.com/article/ipshsj.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站设计 重庆企业网站建设 成都模版网站建设 成都企业网站建设公司 成都网站建设 重庆网站建设 成都响应式网站建设 企业手机网站建设 企业网站设计 成都网站设计 商城网站建设 网站制作公司 成都网站设计 高端网站设计 成都网站建设 成都网站建设 高端品牌网站建设 营销网站建设 网站建设方案 成都网站建设 成都网站建设 网站设计