spark简单例子

一、统计指定索引的每个值有多少个:

成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的平桥网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");

var pairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>val data=x.split("\\|",-1)(67); (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)

二、统计数据列数

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt"); 

var pairRdd=textFile.map{x=>val data=x.split("\\|",-1).length; (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)


当前文章:spark简单例子
标题网址:http://bzwzjz.com/article/jghjhe.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 达州网站设计 定制网站设计 商城网站建设 重庆网站建设 响应式网站建设 重庆企业网站建设 自适应网站建设 响应式网站设计 网站建设 成都网站建设 手机网站制作设计 网站建设改版 成都品牌网站建设 成都网站建设 成都网站设计 网站建设方案 企业网站设计 手机网站建设套餐 成都网站建设 企业网站制作 响应式网站设计方案 成都网站建设公司