Spark03中广播变量和累加器的代码怎么写

今天就跟大家聊聊有关Spark03中广播变量和累加器的代码怎么写,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。

公司主营业务:成都做网站、成都网站制作、移动网站开发等业务。帮助企业客户真正实现互联网宣传,提高企业的竞争能力。创新互联公司是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化,感谢他们对我们的高要求,感谢他们从不同领域给我们带来的挑战,让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联公司推出朝阳免费做网站回馈大家。

广播变量scala代码

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local")
    conf.setAppName("Spark07")
    val sc = new SparkContext(conf)
    //累加器在Driver端定义赋初始值,累加器只能在Driver端读取,在driver、Excutor端更新,
    var sum = sc.accumulator(0)
    val rdd: RDD[String] = sc.textFile("G:/idea/scala/spark02/words1")
    sum.add(1)
    val result: RDD[String] = rdd.map(index=>{
      println("sum="+sum)
      sum.add(1)
      println(sum)
      index
    })
    result.foreach(println)
    println(sum)
  }

累加器scala代码

  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
    conf.setMaster("local")
    conf.setAppName("Spark07")
    val sc = new SparkContext(conf)
    //累加器在Driver端定义赋初始值,累加器只能在Driver端读取,在driver、Excutor端更新,
    var sum = sc.accumulator(0)
    val rdd: RDD[String] = sc.textFile("G:/idea/scala/spark02/words1")
    sum.add(1)
    val result: RDD[String] = rdd.map(index=>{
      println("sum="+sum)
      sum.add(1)
      println(sum)
      index
    })
    result.foreach(println)
    println(sum)
  }

看完上述内容,你们对Spark03中广播变量和累加器的代码怎么写有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注创新互联行业资讯频道,感谢大家的支持。


分享名称:Spark03中广播变量和累加器的代码怎么写
新闻来源:http://bzwzjz.com/article/jhoodj.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 定制网站制作 梓潼网站设计 成都网站建设 定制网站设计 成都定制网站建设 成都网站制作公司 网站建设 重庆手机网站建设 手机网站设计 网站设计 营销型网站建设 教育网站设计方案 企业网站制作 手机网站建设套餐 网站设计公司 成都网站设计 重庆电商网站建设 手机网站制作 成都h5网站建设 成都网站设计 温江网站设计