rdd没有reduceByKey的方法

写Spark代码的时候经常发现rdd没有reduceByKey的方法,这个发生在spark1.2及其以前对版本,因为rdd本身不存在reduceByKey的方法,需要隐式转换成PairRDDFunctions才能访问,因此需要引入Import org.apache.spark.SparkContext._。

创新互联2013年至今,先为宁陵等服务建站,宁陵等地企业,进行企业商务咨询服务。为宁陵企业网站制作PC+手机+微官网三网同步一站式服务解决您的所有建站问题。

不过到了spark1.3的版本后,隐式转换的放在rdd的object中,这样就会自动被引入,不需要显式引入。

 * Defines implicit functions that provide extra functionalities on RDDs of specific types.
 * For example, `RDD`.`rddToPairRDDFunctions` converts an RDD into a `PairRDDFunctions` for
 * key-value-pair RDDs, and enabling extra functionalities such as `PairRDDFunctions`.`reduceByKey`.
*/

object RDD {
  // The following implicit functions were in SparkContext before 1.3 and users had to
  // `import SparkContext._` to enable them. Now we move them here to make the compiler find
  // them automatically. However, we still keep the old functions in SparkContext for backward
  // compatibility and forward to the following functions directly.
  implicit def rddToPairRDDFunctions[K, V](rdd: RDD[(K, V)])
    (implicit kt: ClassTag[K], vt: ClassTag[V], ord: Ordering[K] = null): PairRDDFunctions[K, V] = {
    new PairRDDFunctions(rdd)
  }

至于什么是隐式转换,简单来讲就是scala偷梁换柱换柱,让隔壁老王来干你干不了的事情了。


新闻名称:rdd没有reduceByKey的方法
标题链接:http://bzwzjz.com/article/gedhop.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 重庆网站制作 达州网站设计 重庆电商网站建设 营销网站建设 网站设计制作 重庆企业网站建设 成都商城网站制作 高端网站设计推广 高端网站设计 成都企业网站建设 成都网站建设 网站建设 网站设计 定制网站设计 成都网站设计 网站建设开发 app网站建设 重庆网站设计 四川成都网站制作 成都定制网站建设 响应式网站设计 成都网站建设