spark简单例子

一、统计指定索引的每个值有多少个:

成都创新互联公司坚持“要么做到,要么别承诺”的工作理念,服务领域包括:成都网站设计、成都网站建设、企业官网、英文网站、手机端网站、网站推广等服务,满足客户于互联网时代的平桥网站设计、移动媒体设计的需求,帮助企业找到有效的互联网解决方案。努力成为您成熟可靠的网络建设合作伙伴!

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");

var pairRdd=textFile.filter(x=>x.split("\\|",-1).length>68).map{x=>val data=x.split("\\|",-1)(67); (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)

二、统计数据列数

var textFile = sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt"); 

var pairRdd=textFile.map{x=>val data=x.split("\\|",-1).length; (data,1)}

var result=pairRdd.reduceByKey((sum,x)=>sum+x)

result.collect.foreach(println)


名称栏目:spark简单例子
标题来源:http://csruizhi.cn/article/jghjhe.html

其他资讯

Copyright © 2007-2024 成都优众联杰科技有限公司 All Rights Reserved 蜀ICP备2024116266号
友情链接: 上市集团网站建设 重庆网站建设 定制网站制作 品牌网站建设 外贸网站建设 成都企业网站设计 重庆网站制作 自适应网站设计 成都做网站建设公司 成都网站建设 成都网站设计公司 手机网站制作 泸州网站建设 成都网站建设 成都网站建设公司 网站建设公司 高端定制网站设计 成都网站制作 成都定制网站建设 重庆外贸网站建设 成都品牌网站设计 网站建设开发