sparkstreaming测试之一使用本地数据源

直接上代码吧

10年积累的成都网站制作、网站建设经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站制作后付款的网站建设流程,更有广河免费网站建设让你可以放心的选择与我们合作。

说下测试思路:

    该代码监控的/tmp/sparkStream/目录;

    首先,创建该目录mkdir -p /tmp/sparkStream;

    然后,运行spark程序;

    最后,向监控目录/tmp/sparkStream/添加数据文件;

    观察spark程序运行效果。

sparkStreaming

import org.apache.log4j.{LoggerLevel}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.{SecondsStreamingContext}
import org.apache.spark.streaming.StreamingContext._

object HdfsWordCount {
  def main(args: Array[]){
    Logger.getLogger("org.apache.spark").setLevel(Level.WARN)
    Logger.getLogger("org.apache.eclipse.jetty.server").setLevel(Level.OFF)

    sparkConf = SparkConf().setAppName().setMaster()
    ssc = StreamingContext(sparkConf())

    lines = ssc.textFileStream()
    words = lines.flatMap(_.split())
    wordCounts = words.map(x=>(x)).reduceByKey(_+_)
    wordCounts.print()

    ssc.start()
    ssc.awaitTermination()
  }
}

标题名称:sparkstreaming测试之一使用本地数据源
路径分享:http://bzwzjz.com/article/jehjsi.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 手机网站设计 高端网站设计 成都网站制作 重庆外贸网站建设 成都网站建设 专业网站设计 成都网站制作 成都模版网站建设 网站制作 品牌网站建设 成都定制网站建设 四川成都网站设计 重庆电商网站建设 网站建设公司 成都网站建设推广 网站制作报价 成都营销网站制作 网站建设开发 教育网站设计方案 成都企业网站建设 成都网站建设 成都企业网站建设公司