spark-yarn模式jar包优化

在yarn模式下,会上传jar包到yarn来执行spark程序,如果每次都上传,很耗时间,而且如果是阿里云的机器,上传很慢,180m的jar要上传十几分钟,所以要提前上传到hdfs中去。

创新互联公司专注于企业营销型网站、网站重做改版、牟定网站定制设计、自适应品牌网站建设、H5开发商城系统网站开发、集团公司官网建设、外贸营销网站建设、高端网站制作、响应式网页设计等建站业务,价格优惠性价比高,为牟定等各大城市提供网站开发制作服务。

spark支持如下几个参数

spark-yarn 模式 jar包优化

spark.yarn.jars:只能指定具体jar包,在spark1.6.2(包括)以前,从官网上可以下载一个大的jar包,写上这个jar包即可,但是在2.0过后,就成为了一大堆小包

spark.yarn.archive:这个支持文件夹,但是有一点要注意,

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars")

.set("spark.yarn.archive","hdfs://node2:8020/user/xiaokan/assembly/target/scala-2.11/jars/")

只有第一种写法正确,第二种错误,第二种写法不会读取任何jar包。


网页题目:spark-yarn模式jar包优化
新闻来源:http://bzwzjz.com/article/gjehpd.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 网站建设改版 专业网站设计 商城网站建设 高端定制网站设计 成都网站建设 营销型网站建设 阿坝网站设计 成都定制网站建设 重庆网站制作 定制网站建设 营销网站建设 成都网站建设 企业网站设计 响应式网站设计方案 手机网站制作 成都网站建设 成都网站建设 成都网站设计 成都网站建设 成都定制网站建设 成都网站建设 高端网站设计